Começar
Conceitos básicos
O Oloproof mede um sistema de IA da forma como um estudo mede qualquer coisa: os mesmos casos, os mesmos juízes, as mesmas seeds, executados a cada mudança. O que ele acrescenta a uma suíte de testes é que todo número chega com a sua incerteza, e uma decisão de lançamento é tomada sobre o intervalo, e não sobre a estimativa.
A cadeia
Sete elos, e cada um é um registro que você pode ler isoladamente.
| Elo | O que é |
|---|---|
| Observação | O que o sistema fez, capturado como um artefato de execução |
| Medição | O que um avaliador julgou a respeito |
| Inferência | Uma métrica com um intervalo, sobre um denominador declarado |
| Diagnóstico | Falhas agrupadas em fatores, com contagens e suposições |
| Decisão | PASS, FAIL, INSUFFICIENT_EVIDENCE ou MANUAL_REVIEW |
| Recomendação | Uma ação de lançamento, que é um campo e não um quinto estado |
| Evidência | A proveniência que permite a outra pessoa conferir tudo isso |
Cada elo é armazenado separadamente e pode ser reutilizado de forma independente. Executar de novo uma suíte contra um candidato inalterado reaproveita as execuções e os julgamentos que já existem, e é por isso que uma execução repetida quase não custa nada.
Os quatro estados de decisão
São exatamente quatro, e um deles é a razão pela qual este produto existe.
- PASS — o limite inferior do intervalo atinge o limiar mínimo.
- FAIL — o limite superior do intervalo fica abaixo dele.
- INSUFFICIENT_EVIDENCE — nenhum dos dois, então a evidência não decide.
- MANUAL_REVIEW — uma pessoa é consultada, porque o método se recusou a responder.
Para um limiar mínimo T e um intervalo [L, U]: passa se e somente se L >= T, falha se e somente se U < T; caso contrário, é insuficiente. As regras de limiar máximo são o espelho disso.
INSUFFICIENT_EVIDENCE não é uma falha branda. É a resposta honesta quando uma suíte é pequena demais, ou um efeito próximo demais do limiar, para separá-lo do ruído, e tratá-la como aprovação é a forma mais comum de uma avaliação enganar a equipe que a executa.
O que não é um estado de decisão
RUN_ERROR, PARTIAL e CANCELLED descrevem o que aconteceu com uma execução, não o que foi decidido sobre um sistema. Uma execução que deu erro não traz nenhum resultado de qualidade, e apresentá-la como uma falha diz a um desenvolvedor que a mudança dele é ruim quando a verdade é que o harness caiu.
A distinção importa mais justamente quando é inconveniente. Uma métrica que conta um caso não avaliado como zero atribui ao modelo, como falhas de qualidade, as próprias quedas do sistema — uma constatação real de quando este engine foi executado contra um assistente real.
Denominadores
Uma taxa é um número sobre um denominador, e é no denominador que as avaliações erram em silêncio. O Oloproof registra quatro contagens para cada métrica — total, elegíveis, observados e ausentes — e um caso que não pôde ser medido é limitado, e não descartado.
Um denominador que encolhe quando um sistema começa a falhar é a forma como um sistema que falha informa uma pontuação em alta.
Próximos passos
- Escrevendo uma suíte: o que são um caso, um sistema e um avaliador, e como declará-los.
- Gate no CI: transformar uma decisão em um código de saída.
- Juízes: o que um juiz LLM precisa atingir antes de poder servir de gate para um lançamento.
- Casos agrupados: o que muda quando os casos não são independentes.