Construisez sur des preuves.

Tester des prompts à la main ne résiste pas à la production.

Les équipes livrent des changements de modèle et de prompt chaque semaine. Vérifier quelques sorties au hasard dans un bac à sable ne vous dit presque rien de ce qui a changé, pour qui, ni si la publication est sûre.

Oloproof remplace cela par un relevé mesuré : les mêmes cas, les mêmes juges, les mêmes graines, exécutés à chaque changement.

Jeux de données versionnés, graines fixées et juges déclaratifs. Chaque exécution se reproduit à l’identique, des mois plus tard.

Des écarts avec intervalles de confiance et seuils, pour qu’un mouvement de deux points ne soit jamais pris pour une victoire.

Échecs regroupés par segment, intention et chemin d’outils, chacun relié aux traces exactes qui les sous-tendent.

Une recommandation de publication accompagnée de ses preuves — exportable pour revue, audit et clients.

Chaque intervalle franchit la ligne zéro en pointillés. À ne lire que les estimations ponctuelles, le reranker aurait été livré.

Définissez jeux de données, juges et seuils sous contrôle de version. Relisez les changements d’évaluation comme vous relisez du code.

Contrôles programmatiques, juges LLM, classifieurs entraînés qui notent du texte sur votre propre machine et annotations humaines dans un seul pipeline. L’accord de chaque juge avec les humains est mesuré avec un intervalle, et un juge qui n’a pas franchi son seuil ne peut pas décider d’une publication.

Faites échouer une pull request quand une métrique franchit son seuil. La porte indique quels cas ont bougé et de combien.

Chaque score renvoie aux entrées, sorties, appels d’outils, contexte récupéré et justification du juge. Rien n’est une boîte noire.

La qualité n’est jamais le seul axe. Suivez la dépense et la latence de queue à côté de la justesse, sous les mêmes seuils.

Partagez l’exécution, les diagnostics et la recommandation sans modifier la décision mesurée qu’elle contient.

Trois étapes, puis tout tourne seul.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

Chaque chiffre remonte à un cas.

Les exécutions sont immuables et datées. Jeux de données, prompts, juges et configuration sont versionnés ensemble, de sorte que tout résultat peut être reproduit ou contesté.

À lire les estimations ponctuelles, le reranker apporte +12,7 points de hit@1. À les lire honnêtement, ce panel ne peut pas dire s’il aide ou s’il nuit.