エビデンスに基づいて構築する。

手作業のプロンプトテストは本番環境では通用しません。

チームはモデルやプロンプトの変更を毎週リリースします。プレイグラウンドで一握りの出力をスポットチェックしても、何が、誰にとって変わったのか、そしてリリースしても安全なのかについては、ほとんど何もわかりません。

Oloproof はそれを測定された記録に置き換えます。同じケース、同じジャッジ、同じシードを、変更のたびに実行します。

バージョン管理されたデータセット、固定されたシード、宣言的なジャッジ。どの実行も、数か月後でも正確に再現できます。

差分には信頼区間としきい値が付くため、2 ポイントの変動が改善と取り違えられることはありません。

セグメント、意図、ツールパスごとにクラスタ化された失敗。それぞれが根拠となるトレースに正確にリンクされています。

エビデンスを添えたリリース推奨。レビュー、監査、顧客向けにエクスポートできます。

どの区間も破線のゼロラインをまたいでいます。点推定値だけで読んでいたら、リランカーはリリースされていたでしょう。

データセット、ジャッジ、しきい値をバージョン管理の中で定義します。評価の変更を、コードと同じようにレビューできます。

プログラムによるチェック、LLM ジャッジ、お手元のマシンでテキストを採点する学習済み分類器、そして人手のラベルを 1 つのパイプラインで扱えます。各ジャッジと人間との一致度は区間付きで測定され、基準を満たしていないジャッジはリリースを判断できません。

メトリクスがしきい値を越えたらプルリクエストを失敗させます。ゲートは、どのケースがどれだけ動いたかを報告します。

すべてのスコアは、入力、出力、ツール呼び出し、取得されたコンテキスト、ジャッジの根拠にリンクされます。ブラックボックスはありません。

品質だけが軸ではありません。支出とテールレイテンシを、正確さと並べて同じしきい値のもとで追跡します。

実行、診断、推奨を、そこに含まれる測定済みの判断を変えることなく共有できます。

3 つのステップの後は、自動で動きます。

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

すべての数値はケースまでさかのぼれます。

実行は不変で、日付が記録されます。データセット、プロンプト、ジャッジ、設定はまとめてバージョン管理されるため、どの結果も再現することも、異議を唱えて検証することもできます。

点推定値で読めば、リランカーは hit@1 を +12.7 ポイント押し上げます。誠実に読めば、このパネルではそれが役立つのか害になるのか判断できません。