Xây dựng dựa trên bằng chứng.

Kiểm thử prompt thủ công không trụ được trong môi trường production.

Các nhóm triển khai thay đổi mô hình và prompt hằng tuần. Kiểm tra ngẫu nhiên một vài đầu ra trong playground gần như không cho bạn biết điều gì đã thay đổi, với ai, hay liệu có an toàn để phát hành hay không.

Oloproof thay thế điều đó bằng một hồ sơ đo lường: cùng các trường hợp, cùng các giám khảo, cùng các seed, được chạy ở mỗi thay đổi.

Tập dữ liệu có phiên bản, seed cố định và giám khảo khai báo. Mọi lần chạy tái lập chính xác, kể cả nhiều tháng sau.

Chênh lệch kèm khoảng tin cậy và ngưỡng, để một thay đổi hai điểm không bao giờ bị nhầm là một chiến thắng.

Các thất bại được gom cụm theo phân khúc, ý định và đường đi qua công cụ, mỗi cụm liên kết tới đúng các trace đứng sau nó.

Một khuyến nghị phát hành kèm theo bằng chứng — có thể xuất ra để xem xét, kiểm toán và gửi khách hàng.

Mọi khoảng đều cắt qua đường số không nét đứt. Nếu chỉ đọc các ước lượng điểm, reranker đã được phát hành.

Định nghĩa tập dữ liệu, giám khảo và ngưỡng trong hệ thống quản lý phiên bản. Xem xét các thay đổi về đánh giá theo cách bạn review mã.

Kiểm tra bằng chương trình, giám khảo LLM, bộ phân loại đã huấn luyện chấm điểm văn bản ngay trên máy của bạn, và nhãn do con người gán, trong cùng một pipeline. Mức độ đồng thuận của mỗi giám khảo với con người được đo kèm một khoảng, và giám khảo nào chưa vượt qua ngưỡng của mình thì không thể quyết định một bản phát hành.

Làm thất bại một pull request khi một chỉ số vượt qua ngưỡng. Cổng báo cáo những trường hợp nào đã thay đổi và thay đổi bao nhiêu.

Mọi điểm số đều liên kết tới đầu vào, đầu ra, lệnh gọi công cụ, ngữ cảnh được truy xuất và lập luận của giám khảo. Không có gì là hộp đen.

Chất lượng không bao giờ là trục duy nhất. Theo dõi chi tiêu và độ trễ đuôi song song với độ chính xác, theo cùng các ngưỡng.

Chia sẻ lần chạy, chẩn đoán và khuyến nghị mà không làm thay đổi quyết định đã đo lường bên trong đó.

Ba bước, sau đó nó tự chạy.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

Mọi con số đều truy ngược được về một trường hợp.

Các lần chạy là bất biến và có ghi ngày. Tập dữ liệu, prompt, giám khảo và cấu hình được quản lý phiên bản cùng nhau, nên mọi kết quả đều có thể được tái lập hoặc bị chất vấn.

Nếu chỉ đọc các ước lượng điểm, reranker mang lại +12,7 điểm hit@1. Đọc một cách trung thực, bộ mẫu này không thể cho biết nó giúp ích hay gây hại.