Başlayın
Temel kavramlar
Oloproof bir yapay zekâ sistemini, bir araştırmanın herhangi bir şeyi ölçtüğü gibi ölçer: her değişiklikte çalıştırılan aynı vakalar, aynı hakemler, aynı tohum değerleri. Bir test paketine eklediği şey, her sayının belirsizliğiyle birlikte gelmesi ve bir sürüm kararının tahmine göre değil, aralığa göre verilmesidir.
Zincir
Yedi halka; her biri kendi başına okuyabileceğiniz bir kayıttır.
| Halka | Nedir |
|---|---|
| Gözlem | Sistemin ne yaptığı; bir yürütme yapıtı olarak yakalanır |
| Ölçüm | Bir değerlendiricinin onun hakkında neye hükmettiği |
| Çıkarım | Belirtilmiş bir payda üzerinden, aralıklı bir metrik |
| Teşhis | Sayılar ve varsayımlarla birlikte, etkenler halinde kümelenmiş başarısızlıklar |
| Karar | PASS, FAIL, INSUFFICIENT_EVIDENCE ya da MANUAL_REVIEW |
| Öneri | Bir sürüm eylemi; beşinci bir durum değil, bir alandır |
| Kanıt | Başka birinin bunların hepsini kontrol etmesini sağlayan köken bilgisi |
Her halka ayrı saklanır ve bağımsız olarak yeniden kullanılabilir. Bir paketi değişmemiş bir adaya karşı yeniden çalıştırmak, elindeki yürütmeleri ve yargıları yeniden kullanır; tekrarlanan bir çalıştırmanın neredeyse hiçbir maliyeti olmamasının nedeni budur.
Dört karar durumu
Tam olarak dört tane vardır ve bunlardan biri bu ürünün var olma nedenidir.
- PASS — aralığın alt sınırı minimum eşiği karşılar.
- FAIL — aralığın üst sınırı eşiğin altındadır.
- INSUFFICIENT_EVIDENCE — ikisi de değil, dolayısıyla kanıt karar vermez.
- MANUAL_REVIEW — yöntem yanıt vermekten kaçındığı için bir kişiye sorulur.
Bir T minimum eşiği ve bir [L, U] aralığı için: ancak ve ancak L >= T ise geçer, ancak ve ancak U < T ise başarısız olur, aksi halde yetersizdir. Maksimum eşik kuralları bunun ayna görüntüsüdür.
INSUFFICIENT_EVIDENCE yumuşak bir başarısızlık değildir. Bir paket çok küçük olduğunda ya da bir etki gürültüden ayrılamayacak kadar eşiğe yakın olduğunda verilen dürüst yanıttır ve onu bir geçiş saymak, bir değerlendirmenin onu çalıştıran ekibi yanıltmasının tek başına en yaygın yoludur.
Karar durumu olmayanlar
RUN_ERROR, PARTIAL ve CANCELLED, bir sistem hakkında neye karar verildiğini değil, bir çalıştırmanın başına ne geldiğini tarif eder. Hata veren bir çalıştırma hiçbir kalite sonucu taşımaz ve onu bir başarısızlık gibi sunmak, gerçekte test düzeneği çökmüşken geliştiriciye değişikliğinin kötü olduğunu söyler.
Bu ayrım en çok işe gelmediğinde önem taşır. Puanlanmamış bir vakayı sıfır sayan bir metrik, bir sistemin kendi kesintilerini kalite başarısızlıkları olarak modelin hanesine yazar; bu, bu motoru canlı bir asistana karşı çalıştırmaktan elde edilmiş gerçek bir bulgudur.
Paydalar
Bir oran, bir payda üzerindeki bir sayıdır ve değerlendirmelerin sessizce yanlış gittiği yer paydadır. Oloproof her metrik için dört sayı kaydeder — toplam, uygun, gözlenen ve eksik — ve ölçülemeyen bir vaka atılmaz, sınırlandırılır.
Bir sistem başarısız olmaya başladığında küçülen bir payda, başarısız bir sistemin yükselen bir puan bildirmesinin yoludur.
Sonraki adımlar
- Paket yazma: bir vakanın, bir sistemin ve bir değerlendiricinin ne olduğu ve bunları nasıl
bildirdiğiniz.
- CI'da kapı denetimi: bir kararı bir çıkış koduna dönüştürmek.
- Hakemler: bir LLM hakeminin bir sürümü kapıdan geçirmeye karar verebilmesi için neyi geçmesi
gerektiği.
- Kümelenmiş vakalar: vakalar bağımsız olmadığında neyin değiştiği.