以證據為本來建構。

手動測試提示詞，撐不過正式環境。

團隊每週都在發布模型與提示詞的變更。在 playground 裡抽查幾筆輸出，幾乎無法告訴您改變了什麼、影響了誰，也無法告訴您是否可以安全發布。

Oloproof 以一份量測紀錄取而代之：相同的案例、相同的評判器、相同的隨機種子，在每次變更時執行。

版本化的資料集、固定的隨機種子，以及宣告式評判器。每次執行在數個月後仍能精確重現。

附帶信賴區間與門檻的差值，兩個點的波動絕不會被誤認為勝利。

依區隔、意圖與工具路徑分群的失敗，每一類都連結到其背後的確切追蹤紀錄。

附帶證據的發布建議——可匯出，供審查、稽核與客戶使用。

每個區間都跨越了零值虛線。如果只看點估計，這個重新排序器早就上線了。

在版本控制中定義資料集、評判器與門檻。像審查程式碼一樣審查評估的變更。

程式化檢查、LLM 評判模型、在您自己的機器上為文字評分的已訓練分類器，以及人工標註，全都在同一條管線中。每個評判器與人工判斷的一致程度都以區間量測；尚未達到其標準的評判器不能決定發布。

當某個指標越過門檻時，讓拉取請求失敗。閘門會回報哪些案例有所變動、變動了多少。

每個分數都連結到輸入、輸出、工具呼叫、檢索到的脈絡與評判理由。沒有任何黑箱。

品質從來不是唯一的面向。在同一套門檻下，把花費與尾端延遲和正確性一起追蹤。

分享執行、診斷與建議，而不改變其中所含的量測決策。

三個步驟，之後它便自行運轉。

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

每個數字都能追溯到一個案例。

執行紀錄不可變且標有日期。資料集、提示詞、評判器與設定一同版本化，因此任何結果都能被重現或質疑。

只看點估計，重新排序器讓 hit@1 提升了 +12.7 個點。誠實地看，這個測試集無法判斷它是有幫助還是有害。