Yapay zekâ sistemlerinin değerlendirilmesi
Kanıtla geliştirin.
Oloproof, ekiplerin yapay zekâ sistemlerini tekrarlanabilir testlerle, teşhislerle ve karar vermeye yetecek nitelikte kanıtla değerlendirmesine yardımcı olur.
CI’ınızda çalışır. Kanıtınız kendi makinenizde kalır.
Prompt’ları elle test etmek üretimde ayakta kalmaz.
Ekipler model ve prompt değişikliklerini her hafta yayına alıyor. Bir playground’da birkaç çıktıya göz atmak; neyin, kimin için değiştiğini ya da sürüme çıkarmanın güvenli olup olmadığını neredeyse hiç söylemez.
Oloproof bunun yerine ölçülmüş bir kayıt koyar: her değişiklikte çalıştırılan aynı vakalar, aynı hakemler, aynı tohum değerleri.
Bir prompt düzenlemesi bir hata sınıfını düzeltir ve bir başkasını sessizce bozar. Bir müşteri fark edene kadar kimse fark etmez.
Canlı bir RAG sisteminde, gözlenen yaklaşık her dokuz vakadan biri birebir aynı ölçümler arasında hükmünü değiştirdi.
Canlı bir test düzeneği, yanıtlarının %13,8’ini oluşturan HTTP 500’leri sıfır olarak puanladı ve kesintileri modelin hanesine yazdı. Bir ortalama bir kararı taşıyamaz.
Risk, hukuk ya da bir müşteri neyi test ettiğinizi sorduğunda, bir yazışma zincirindeki ekran görüntüleri yanıt değildir.
Her sürüm kararının ihtiyaç duyduğu dört şey.
Sürümlenmiş veri kümeleri, sabitlenmiş tohum değerleri ve bildirimsel hakemler. Her çalıştırma aylar sonra bile birebir yeniden üretilir.
Güven aralıkları ve eşiklerle birlikte farklar; böylece iki puanlık bir kıpırdama asla bir kazanım sanılmaz.
Segmente, niyete ve araç yoluna göre kümelenmiş hatalar; her biri arkasındaki izlerin ta kendisine bağlı.
Kanıtı ekli bir sürüm önerisi — inceleme, denetim ve müşteriler için dışa aktarılabilir.
Her aralık kesikli sıfır çizgisini kesiyor. Yalnızca nokta tahminlerine bakılsaydı reranker yayına alınmış olurdu.
Sürümü gerekçelendirmek zorunda olan ekipler için tasarlandı.
Veri kümelerini, hakemleri ve eşikleri sürüm kontrolünde tanımlayın. Değerlendirme değişikliklerini kodu incelediğiniz gibi inceleyin.
Programatik kontroller, LLM hakemleri, metni kendi makinenizde puanlayan eğitilmiş sınıflandırıcılar ve insan etiketleri tek bir işlem hattında. Her hakemin insanlarla uyumu bir aralıkla ölçülür; çıtasını geçmemiş bir hakem bir sürüme karar veremez.
Bir metrik eşiğini aştığında pull request’i başarısız kılın. Kapı hangi vakaların ne kadar değiştiğini bildirir.
Her puan girdilere, çıktılara, araç çağrılarına, getirilen bağlama ve hakemin gerekçesine bağlanır. Hiçbir şey kara kutu değildir.
Kalite hiçbir zaman tek eksen değildir. Harcamayı ve kuyruk gecikmesini doğrulukla birlikte, aynı eşikler altında izleyin.
Çalıştırmayı, teşhisi ve öneriyi, içerdikleri ölçülmüş kararı değiştirmeden paylaşın.
Üç adım; sonrasında kendi kendine işler.
Kendi vakalarınızı bir JSONL dosyası olarak getirin. Hakemleri ve bir sürümün geçmesi gereken eşikleri bildirin.
Yerelde tek bir komut, CI’da aynı komut. Prompt, model, getirme ve araç değişikliklerinin hepsi aynı muameleyi görür.
Farkları okuyun, başarısız izleri açın ve kanıtı verdiğiniz karara ekli tutun.
Her sayının izi bir vakaya kadar sürülebilir.
Çalıştırmalar değişmez ve tarihlidir. Veri kümeleri, prompt’lar, hakemler ve yapılandırma birlikte sürümlenir; böylece her sonuç yeniden üretilebilir ya da sorgulanabilir.
Nokta tahminlerine bakılırsa reranker hit@1’de +12,7 puan kazandırıyor. Dürüstçe okunduğunda bu panel, onun yardımcı mı yoksa zararlı mı olduğunu söyleyemez.
Bunun henüz ne olmadığı.
Aşağıdaki her şey, okuduğunuz gün itibarıyla doğrudur.
- 01
Kaydolabileceğiniz barındırılan bir kurulum yok. Erişim davetle sağlanıyor.
- 02
Fiyatlandırma yok. Birim, değerlendirilen bir vakadır; ücretler belirlenmedi.
- 03
Güvenlik denetimi yok, SOC 2 raporu yok, DPA yok. Müşteri ve vaka çalışması yok, dolayısıyla alıntılanan da yok.
- 04
Bildirimler yalnızca e-postayla gönderilir: Slack, çağrı cihazı ya da webhook yok. Rapor belgesi yok. Bir çalıştırma workbench’te okunur ya da bir arşiv olarak dışa aktarılır.
- 05
Üretim değerlendirmesi henüz geliştirilmedi: izler kendi makinenizde alınır ve üretim trafiğini henüz hiçbir şey puanlamaz.
- 06
Uçtan uca yalnızca tek bir canlı üçüncü taraf sistemine karşı çalıştırıldı. Yukarıdaki kanıt budur ve tek bir sistemdir.
Yayına almadan önce ölçün.
Bir sistem ve bir veri kümesi getirin. Tek bir yerel çalıştırmayla başlayın ve kanıtı kendi makinenizde tutun.