Construya con evidencia.

Probar prompts a mano no sobrevive a producción.

Los equipos publican cambios de modelo y de prompt cada semana. Revisar a ojo un puñado de salidas en un playground no dice casi nada sobre qué cambió, para quién, ni si es seguro publicarlo.

Oloproof lo sustituye por un registro medido: los mismos casos, los mismos jueces, las mismas semillas, ejecutados en cada cambio.

Conjuntos de datos versionados, semillas fijadas y jueces declarativos. Cada ejecución se reproduce exactamente, meses después.

Diferencias con intervalos de confianza y umbrales, para que un movimiento de dos puntos nunca se confunda con una mejora.

Fallos agrupados por segmento, intención y ruta de herramientas, cada uno enlazado a las trazas exactas que lo respaldan.

Una recomendación de publicación con la evidencia adjunta — exportable para revisión, auditoría y clientes.

Todos los intervalos cruzan la línea discontinua del cero. Leyendo solo las estimaciones puntuales, el reranker se habría publicado.

Defina conjuntos de datos, jueces y umbrales en el control de versiones. Revise los cambios de evaluación como revisa el código.

Comprobaciones programáticas, jueces LLM, clasificadores entrenados que puntúan texto en su propia máquina y etiquetas humanas en un mismo pipeline. La concordancia de cada juez con las personas se mide con un intervalo, y un juez que no ha superado su umbral no puede decidir una publicación.

Haga fallar un pull request cuando una métrica cruce su umbral. El gate informa qué casos se movieron y cuánto.

Cada puntuación enlaza con las entradas, las salidas, las llamadas a herramientas, el contexto recuperado y el razonamiento del juez. Nada es una caja negra.

La calidad nunca es el único eje. Siga el gasto y la latencia de cola junto con la corrección, bajo los mismos umbrales.

Comparta la ejecución, los diagnósticos y la recomendación sin alterar la decisión medida que contiene.

Tres pasos, y después funciona solo.

$ oloproof run
Run run_01M3B0CCPA0JFQQ7HWRKYNWFJC [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)

  Rule         Metric       State  Reasons
  label-floor  exact_label  PASS   lower_bound_meets_minimum

  Metric       Estimate  Interval          N
  exact_label  100.0%    [88.4%, 100.0%]   30 / 30 observed · 0 missing

Cache: execution 0 hit/30 miss; judgment 0 hit/30 miss

$ oloproof run
Run run_01M3B0CXTTVPTBXAFK3WNGFX42 [DECIDED/COMPLETE]
Gate: ALLOW (exit 0)
Cache: execution 30 hit/0 miss; judgment 0 hit/30 miss

Cada número se remonta a un caso.

Las ejecuciones son inmutables y están fechadas. Los conjuntos de datos, los prompts, los jueces y la configuración se versionan juntos, de modo que cualquier resultado puede reproducirse o cuestionarse.

Leyendo las estimaciones puntuales, el reranker aporta +12,7 puntos de hit@1. Leído con honestidad, este panel no puede decir si ayuda o perjudica.