근거를 갖고 만드십시오.

수작업 프롬프트 테스트는 프로덕션에서 버티지 못합니다.

팀은 매주 모델과 프롬프트 변경을 배포합니다. 플레이그라운드에서 출력 몇 개를 훑어보는 것으로는 무엇이, 누구에게 바뀌었는지, 릴리스해도 안전한지 거의 알 수 없습니다.

Oloproof는 이를 측정된 기록으로 대체합니다. 같은 케이스, 같은 심사, 같은 시드를 모든 변경마다 실행합니다.

버전 관리되는 데이터셋, 고정된 시드, 선언형 심사. 모든 실행은 몇 달 뒤에도 정확히 재현됩니다.

신뢰구간과 임계값이 붙은 차이. 그래서 2포인트 움직임을 승리로 착각하지 않습니다.

세그먼트, 의도, 도구 경로별로 묶인 실패. 각 묶음은 그 뒤에 있는 정확한 트레이스에 연결됩니다.

근거가 첨부된 릴리스 권고. 검토, 감사, 고객에게 내보낼 수 있습니다.

모든 구간이 점선으로 된 영점 선을 가로지릅니다. 점추정치만 읽었다면 리랭커는 배포되었을 것입니다.

데이터셋, 심사, 임계값을 버전 관리에 정의하십시오. 평가 변경을 코드처럼 리뷰하십시오.

프로그래밍 방식 검사, LLM 심사 모델, 여러분의 머신에서 텍스트를 채점하는 학습된 분류기, 사람의 레이블을 하나의 파이프라인에서 다룹니다. 각 심사가 사람과 얼마나 일치하는지는 구간과 함께 측정되며, 기준을 통과하지 못한 심사는 릴리스를 결정할 수 없습니다.

지표가 임계값을 넘으면 풀 리퀘스트를 실패시킵니다. 게이트는 어떤 케이스가 얼마나 움직였는지 보고합니다.

모든 점수는 입력, 출력, 도구 호출, 검색된 컨텍스트, 심사 근거에 연결됩니다. 블랙박스는 없습니다.

품질이 유일한 축인 경우는 없습니다. 지출과 꼬리 지연 시간을 정확성과 함께, 같은 임계값 아래에서 추적하십시오.

실행, 진단, 권고를 공유하되, 그 안에 담긴 측정된 결정은 바꾸지 않습니다.

세 단계, 그다음은 알아서 돌아갑니다.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

모든 숫자는 케이스까지 거슬러 올라갑니다.

실행은 변경 불가능하며 날짜가 기록됩니다. 데이터셋, 프롬프트, 심사, 설정이 함께 버전 관리되므로 어떤 결과든 재현하거나 이의를 제기할 수 있습니다.

점추정치로 읽으면 리랭커는 hit@1을 +12.7포인트 올립니다. 정직하게 읽으면 이 패널로는 도움이 되는지 해가 되는지 알 수 없습니다.