Mit Evidenz entwickeln.

Prompts von Hand zu testen übersteht die Produktion nicht.

Teams liefern jede Woche Änderungen an Modellen und Prompts aus. Eine Handvoll Ausgaben in einem Playground stichprobenartig zu prüfen, sagt Ihnen fast nichts darüber, was sich geändert hat, für wen, oder ob ein Release sicher ist.

Oloproof ersetzt das durch eine gemessene Aufzeichnung: dieselben Fälle, dieselben Judges, dieselben Seeds, bei jeder Änderung ausgeführt.

Versionierte Datensätze, fixierte Seeds und deklarative Judges. Jeder Lauf lässt sich exakt reproduzieren, auch Monate später.

Differenzen mit Konfidenzintervallen und Schwellenwerten, damit eine Bewegung um zwei Punkte nie mit einem Gewinn verwechselt wird.

Fehler gruppiert nach Segment, Intention und Tool-Pfad, jeweils verknüpft mit den genauen Traces dahinter.

Eine Release-Empfehlung mit angehängter Evidenz — exportierbar für Review, Audit und Kunden.

Jedes Intervall schneidet die gestrichelte Nulllinie. Allein nach den Punktschätzungen wäre der Reranker ausgeliefert worden.

Definieren Sie Datensätze, Judges und Schwellenwerte in der Versionsverwaltung. Prüfen Sie Änderungen an der Evaluierung so, wie Sie Code prüfen.

Programmatische Prüfungen, LLM-Judges, trainierte Klassifikatoren, die Text auf Ihrem eigenen Rechner bewerten, und menschliche Labels in einer Pipeline. Die Übereinstimmung jedes Judges mit Menschen wird mit einem Intervall gemessen, und ein Judge, der seine Hürde nicht genommen hat, kann kein Release entscheiden.

Lassen Sie einen Pull Request fehlschlagen, wenn eine Metrik ihren Schwellenwert überschreitet. Das Gate meldet, welche Fälle sich bewegt haben und um wie viel.

Jeder Score verweist auf Eingaben, Ausgaben, Tool-Aufrufe, abgerufenen Kontext und die Begründung des Judges. Nichts ist eine Blackbox.

Qualität ist nie die einzige Achse. Verfolgen Sie Ausgaben und Tail-Latenz neben der Korrektheit, unter denselben Schwellenwerten.

Teilen Sie Lauf, Diagnose und Empfehlung, ohne die gemessene Entscheidung darin zu verändern.

Drei Schritte, dann läuft es von selbst.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

Jede Zahl führt auf einen Fall zurück.

Läufe sind unveränderlich und datiert. Datensätze, Prompts, Judges und Konfiguration werden gemeinsam versioniert, sodass jedes Ergebnis reproduziert oder angefochten werden kann.

Nach den Punktschätzungen liefert der Reranker +12,7 Punkte hit@1. Ehrlich gelesen kann dieses Panel nicht sagen, ob er hilft oder schadet.