以证据为依据构建。

手工测试提示词，经不起生产环境的考验。

团队每周都在发布模型和提示词的变更。在 playground 里抽查几条输出，几乎无法告诉你改变了什么、影响了谁，也无法告诉你是否可以安全发布。

Oloproof 用一份度量记录取而代之：同样的用例、同样的评判器、同样的随机种子，在每次变更时运行。

版本化的数据集、固定的随机种子和声明式评判器。每次运行在几个月后仍能精确复现。

带置信区间和阈值的差值，两个点的波动绝不会被误当作胜利。

按分群、意图和工具路径聚类的失败，每一类都链接到其背后的具体追踪记录。

附带证据的发布建议——可导出，供评审、审计和客户使用。

每个区间都跨过了零值虚线。如果只看点估计，这个重排序器就已经上线了。

在版本控制中定义数据集、评判器和阈值。像审查代码一样审查评估的变更。

程序化检查、LLM 评判模型、在你自己的机器上为文本打分的训练好的分类器，以及人工标注，都在同一条流水线中。每个评判器与人工判断的一致性都用区间来度量；尚未达到其标准的评判器不能决定发布。

当某个指标越过阈值时，让拉取请求失败。门控会报告哪些用例发生了变化、变化了多少。

每个分数都链接到输入、输出、工具调用、检索到的上下文和评判理由。没有任何黑箱。

质量从来不是唯一的维度。在同一套阈值下，把花费和尾延迟与正确性一起跟踪。

分享运行、诊断和建议，而不改变其中包含的度量决策。

三个步骤，之后它自行运转。

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

每个数字都能追溯到一个用例。

运行不可变且带有日期。数据集、提示词、评判器和配置一同版本化，因此任何结果都可以被复现或质疑。

只看点估计，重排序器让 hit@1 提升了 +12.7 个点。如实地看，这个测试集无法判断它是有益还是有害。