Construa com evidência.

Testar prompts à mão não sobrevive à produção.

As equipes publicam mudanças de modelo e de prompt toda semana. Conferir por amostragem algumas saídas em um playground não diz quase nada sobre o que mudou, para quem, ou se é seguro lançar.

O Oloproof substitui isso por um registro medido: os mesmos casos, os mesmos juízes, as mesmas seeds, executados a cada mudança.

Datasets versionados, seeds fixas e juízes declarativos. Cada execução se reproduz exatamente, meses depois.

Diferenças com intervalos de confiança e limiares, para que uma variação de dois pontos nunca seja confundida com uma vitória.

Falhas agrupadas por segmento, intenção e caminho de ferramentas, cada uma ligada aos traces exatos por trás dela.

Uma recomendação de lançamento com a evidência anexada — exportável para revisão, auditoria e clientes.

Todos os intervalos cruzam a linha tracejada do zero. Lendo apenas as estimativas pontuais, o reranker teria sido publicado.

Defina datasets, juízes e limiares no controle de versão. Revise mudanças na avaliação da mesma forma que revisa código.

Verificações programáticas, juízes LLM, classificadores treinados que pontuam texto na sua própria máquina e rótulos humanos em um único pipeline. A concordância de cada juiz com as pessoas é medida com um intervalo, e um juiz que não atingiu o seu limite não pode decidir um lançamento.

Faça um pull request falhar quando uma métrica cruza o seu limiar. O gate informa quais casos mudaram e quanto.

Cada pontuação está ligada a entradas, saídas, chamadas de ferramentas, contexto recuperado e justificativa do juiz. Nada é uma caixa-preta.

A qualidade nunca é o único eixo. Acompanhe o gasto e a latência de cauda junto com a correção, sob os mesmos limiares.

Compartilhe a execução, o diagnóstico e a recomendação sem alterar a decisão medida que ela contém.

Três passos, e depois roda sozinho.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

Todo número remonta a um caso.

As execuções são imutáveis e datadas. Datasets, prompts, juízes e configuração são versionados juntos, então qualquer resultado pode ser reproduzido ou contestado.

Lendo as estimativas pontuais, o reranker entrega +12,7 pontos de hit@1. Lido com honestidade, este painel não consegue dizer se ele ajuda ou atrapalha.