المفاهيم الأساسية

يقيس Oloproof نظام الذكاء الاصطناعي بالطريقة التي تقيس بها أي دراسة أي شيء: الحالات نفسها، والحُكّام أنفسهم، والبذور نفسها، تُشغَّل عند كل تغيير. وما يضيفه إلى مجموعة الاختبار هو أن كل رقم يصل مصحوبًا بعدم اليقين الخاص به، وأن قرار الإصدار يُتَّخذ بناءً على الفترة لا على التقدير.

السلسلة

سبع حلقات، وكل واحدة منها سجلٌّ يمكنك قراءته مستقلًا.

تُخزَّن كل حلقة على حدة ويمكن إعادة استخدامها باستقلال. فإعادة تشغيل مجموعة اختبار على مرشَّح لم يتغيّر تعيد استخدام عمليات التنفيذ والأحكام الموجودة لديها بالفعل، ولهذا لا يكلّف التشغيل المتكرر شيئًا يُذكر تقريبًا.

حالات القرار الأربع

هي أربع بالضبط، وإحداها هي سبب وجود هذا المنتج.

• PASS — الحد الأدنى للفترة يتجاوز العتبة الدنيا.
• FAIL — الحد الأعلى للفترة أدنى منها.
• INSUFFICIENT_EVIDENCE — لا هذا ولا ذاك، فالأدلة لا تحسم الأمر.
• MANUAL_REVIEW — يُسأل شخص، لأن الطريقة امتنعت عن الإجابة.

بالنسبة إلى عتبة دنيا T وفترة [L, U]: النجاح إذا وفقط إذا L >= T، والإخفاق إذا وفقط إذا U < T، وإلا فالأدلة غير كافية. أما قواعد العتبة القصوى فهي الصورة المعكوسة.

INSUFFICIENT_EVIDENCE ليست إخفاقًا مخفَّفًا. إنها الإجابة الصادقة حين تكون مجموعة الاختبار أصغر من اللازم، أو يكون الأثر أقرب إلى العتبة من أن يُفصَل عن الضجيج، ومعاملتها على أنها نجاح هي أكثر الطرق شيوعًا التي يُضلِّل بها التقييمُ الفريقَ الذي يُجريه.

ما ليس حالة قرار

RUN_ERROR وPARTIAL وCANCELLED تصف ما حدث لتشغيل ما، لا ما تقرَّر بشأن نظام ما. فالتشغيل الذي وقع فيه خطأ لا يحمل أي نتيجة جودة على الإطلاق، وعرضه على أنه إخفاق يُخبر المطوِّر بأن تغييره سيئ في حين أن الحقيقة هي أن أداة الاختبار نفسها تعطّلت.

ويكون هذا التمييز أهمّ ما يكون حين يكون غير مريح. فالمقياس الذي يَعُدّ الحالة غير المُقيَّمة صفرًا يُحمِّل النموذجَ أعطالَ النظام نفسه على أنها إخفاقات في الجودة، وهذه نتيجة حقيقية ظهرت من تشغيل هذا المحرك على مساعد قيد التشغيل الفعلي.

المقامات

المعدَّل رقم على مقام، والمقام هو الموضع الذي تنحرف فيه التقييمات بصمت. يسجّل Oloproof أربعة أعداد لكل مقياس — الإجمالي، والمؤهَّل، والمرصود، والمفقود — والحالة التي تعذّر قياسها تُحصَر بحدود بدلًا من أن تُسقَط.

المقام الذي يتقلّص حين يبدأ النظام في الإخفاق هو الطريقة التي يُبلغ بها نظامٌ مخفِق عن درجة آخذة في الارتفاع.

إلى أين بعد ذلك

• كتابة مجموعة اختبار: ما الحالة وما النظام وما المُقيِّم، وكيف تُعلِن عنها.
• الحجب بالبوابة في CI: تحويل القرار إلى رمز خروج.
• الحُكّام: ما يجب أن يجتازه حَكَم LLM قبل أن يُسمح له بحجب إصدار بالبوابة.
• الحالات العنقودية: ما الذي يتغيّر حين لا تكون الحالات مستقلة.