Skip to content
Oturum açBaşlayın

Başvuru

Hatalar

Bu sayfanın var olma nedeni olan ayrım şudur: başarısız olan bir çalıştırma ile hata veren bir çalıştırma farklı şeylerdir ve birini diğeri gibi sunmak, gerçekte test düzeneği çökmüşken geliştiriciye değişikliğinin kötü olduğunu söyler.

Başarısızlık bir sonuçtur. Hata değildir.

FAIL, bir kapının değerlendirildiği ve kanıtın eşiğin altında kaldığı anlamına gelir. Bu, değişiklik hakkında bir kalite sonucudur.

RUN_ERROR, çalıştırmanın tamamlanmadığı anlamına gelir. Hiçbir kapı değerlendirilmedi ve değişiklik hakkında hiçbir şey ölçülmedi. Bu bir karar durumu değildir; PARTIAL ya da CANCELLED da değildir — bunlar bir sistem hakkında neye karar verildiğini değil, bir çalıştırmanın başına ne geldiğini tarif eder.

Tamamlanmamış bir çalıştırma ne bildirir

Tamamlanmamış bir çalıştırma üzerindeki bir kapı 1 ile değil, 5 ile çıkar. Kanıt kötü değil, eksiktir ve ikisi farklı tepkiler gerektirir: başarısız bir kapı sizden değişikliğinize bakmanızı, tamamlanmamış bir kapı ise altyapınıza bakmanızı ister.

Ölçülemeyen vakalar

Hata veren bir vaka atılmaz, sınırlandırılır. Her metrik dört sayı kaydeder — toplam, uygun, gözlenen ve eksik — ve aralık göremediği vakaları hesaba katar.

Bu, göründüğünden daha önemlidir. Puanlanmamış bir vakayı sıfır sayan bir metrik, bir sistemin kendi kesintilerini kalite başarısızlıkları olarak modelin hanesine yazar ve bir sistem başarısız olmaya başladığında sessizce küçülen bir payda, başarısız bir sistemin yükselen bir puan bildirmesinin yoludur. İkisi de, çağrıların %13,8'inin HTTP 500 döndürdüğü canlı bir asistanda gözlendi.

Geçici başarısızlıklar

Bir sistem, bir başarısızlığın geçici olduğunu bildirebilir; geçici bir başarısızlık bir kalite sonucu olarak kaydedilmek yerine yeniden denenir. Bir sağlayıcı zaman aşımı, bir prompt hakkında kanıt değildir.

Bildirim açıktır: çağrılabilir bir sistem retryable=True ile TransientError yükseltir. retryable varsayılan olarak False değerindedir ve onsuz bir TransientError, vakada diğer herhangi bir istisna gibi kaydedilir; dolayısıyla vaka yeniden denenmek yerine eksik sayılır. Bir HTTP sistemi ve bir hakem sağlayıcısı hiçbir bildirime ihtiyaç duymaz: onlar için bir zaman aşımı, kopan bir bağlantı, bir 429 ya da bir 5xx yeniden denenir. Her iki durumda da bir çağrı geri çekilmeyle en fazla dört kez denenir ve hâlâ başarısız olan bir vaka eksik sayılır. İlerleme ve eşzamanlılık ikisini de gösterir.

Yapılandırma hataları

2 çıkış kodu, çağrının ya da yapılandırmanın hatalı olduğu ve hiçbir şeyin çalışmadığı anlamına gelir. Bir kota reddi bunlardan biridir: adı konmuş bir nedeni olan, ilk vaka yürütülmeden önce reddedilen bir yapılandırma hatasıdır ve asla bir karar durumu değildir. Ticari bir olgu, bir kalite hükmü kılığında gelmemelidir.

Neyin başarısız olduğunu teşhis etme

oloproof diagnose RUN_ID --intervention gold-context --criterion answer_correct

Müdahale, başarısız vakaların hangi koşul altında yeniden çalıştırılacağıdır — gold-context, top-k ya da reranker — ve ölçüt, hangi değerlendiricinin başarısızlıklarının alınacağını söyler. Bir teşhis, başarısızlık etkenlerini sayılarıyla, arkalarındaki senaryo kimlikleriyle ve yaptığı varsayımlarla bildirir. Bir neden değil, bir etken adlandırır: motor bir şeyin başka bir şeyi ürettiğini ileri sürmez, onu gösteren hiçbir ekran da sürmez.

Sonraki adımlar