الوثائق
اكتب حزمة. واجعلها بوابة.
يقرر Oloproof الإصدارات بناءً على فترات الثقة لا على التقديرات النقطية. تشرح هذه الصفحات كيفية التصريح بما يجب قياسه، وتحويل القرار إلى رمز خروج، وما يجب أن يجتازه محكّم LLM قبل أن يُسمح له بأن يكون بوابة لأي شيء.
البدء السريعثبِّت المحرك، وأنشئ هيكل مشروع، واحصل على أول تشغيل وأول قرار بوابة على جهازك. لا يغادر جهازَك شيءٌ ما لم تدفعه بنفسك.المفاهيم الأساسيةيقيس Oloproof نظام الذكاء الاصطناعي بالطريقة التي تقيس بها أي دراسة أي شيء: الحالات نفسها، والحُكّام أنفسهم، والبذور نفسها، تُشغَّل عند كل تغيير. وما يضيفه إلى مجموعة الاختبار هو أن كل رقم يصل مصحوبًا بعدم اليقين الخاص به، وأن قرار الإصدار يُتَّخذ بناءً على الفترة لا على التقدير.كتابة مجموعة اختبارمجموعة الاختبار ملفّان ومجموعة بيانات. ينشئ oloproof init هيكل الملفين كليهما، والهيكل مزوَّد بالتعليقات لأن أول تجربة للإعداد الأولي أضاعت أربع محاولات بسبب سلسلة نصية ناقصة لا بسبب ميزة ناقصة.واجهة Python البرمجيةكل ما تفعله CLI تفعله المكتبة. استخدمها حين ينتمي التقييم إلى داخل سكربت أو دفتر ملاحظات أو مجموعة اختبارات، لا إلى جوار ملف إعدادات.Recording what a system didA system's output is what an evaluator reads by default. Everything else it did — the prompt it built, the passages it retrieved, the tools it called, the tokens it spent — is recorded alongside the output as artifacts and usage, and every artifact is stored content-addressed with the execution that produced it.التقدُّم والتزامنتستغرق مجموعة اختبار تُشغَّل على نموذج حيّ دقائق، ويُقضى معظمها في انتظار النموذج. تشرح هذه الصفحة عدد الاستدعاءات التي يُبقيها Oloproof قيد التنفيذ في آنٍ واحد، وما يعرضه لك أثناء تنفيذها، وكيف تعرف مقدار التشغيل الإضافي الذي يكفي لحسم قاعدة لم تُحسَم.Gating CIA gate compares measured evidence against a threshold you declared, and exits with a code your CI understands. The decision is made on the interval, not on the estimate.التشغيل في CIتشرح صفحة تطبيق البوابة في CI سياسة الإصدار ومعنى كل رمز خروج. أما هذه الصفحة فهي الجزء الذي يحدث داخل مهمة CI: كيف تثبّت Oloproof هناك، وأين تقيم الأدلة أثناء تشغيل المهمة، وكيف تقرأ النتيجة دون تحليل جدول، وكيف تقارن طلب سحب بالفرع الذي يستهدفه.Comparing a candidate to a baselineThe workflow the rest of this product exists for: you changed something, and you want to know whether it helped. A comparison pairs two runs case by case and reports the difference with an interval, so a two-point move is never mistaken for a win.قواعد المقارنةتعرض صفحة مقارنة المرشَّح بخط الأساس سير العمل. أما هذه الصفحة فهي المرجع للقواعد التي تُحسم بها المقارنة: ما الأنواع الموجودة، وما الذي يسأله كل نوع، وبأي وحدة يُقاس الهامش، وما الذي يحرّك الفترة التي تُقرأ منها هذه القواعد.الحالات العنقوديةتفترض معظم حسابات الفترات أن كل حالة مستقلة عن كل حالة أخرى. لكن ثلاث جولات من محادثة واحدة ليست كذلك: حين تسوء المحادثة، تميل الجولات الثلاث كلها إلى السوء. ومجموعة الاختبار التي تعاملها على أنها مستقلة تُبلغ بفترة أضيق مما تدعمه الأدلة، وقد تُجيز البوابة بناءً عليها.الشرائحقد يظل المعدل الإجمالي ثابتًا بينما ينهار جزء واحد من مجموعة الاختبار. الشريحة جزء مُعلَن من مجموعة الاختبار يُقاس وحده، فيصبح الانهيار مرئيًا. وتأتي الشرائح مع انضباطين اثنين، لأن النظر في أجزاء كثيرة من مجموعة الاختبار هو الطريقة التي يعثر بها التقييم على الضجيج فيسمّيه اكتشافًا.JudgesAn LLM judge is one kind of evaluator, not all of them. Oloproof has three kinds — deterministic, LLM judge, and custom — and the rules on this page are about the second, because a model's verdict is the one that needs measuring against a human's.تقييم RAGقد تكون الإجابة المعزَّزة بالاسترجاع خاطئة لأربعة أسباب مختلفة: لم يُسترجَع المقطع الصحيح قط، أو استُرجع ورُتِّب في مرتبة متدنية جدًا، أو رُتِّب في مرتبة عالية بما يكفي ثم أُسقط من السياق، أو وصل إلى النموذج وأخطأ فيه النموذج مع ذلك. ولا يستطيع رقم دقة واحد أن يميّز بينها. يشغِّل Oloproof نظام RAG على أنه مرحلتان يستطيع رؤيتهما، ويقيس كلًّا منهما، ويعيد تنفيذ الحالات المُخفِقة في ظل تغييرات مضبوطة ليكتشف أيّ الأسباب ينطبق.الوكلاء والأدواتلا يقود Oloproof الوكيلَ. فوكيلك يشغِّل حلقته الخاصة، ويستدعي أدواته الخاصة، ويسجِّل ما حدث بوصفه مُخرَجًا من نوع agent_trajectory/v1. ويُقرأ كل مقياس من مقاييس الوكيل من ذلك السجل، لذا فإن السجل هو التكامل بأكمله.المصنِّفات ونماذج الانحداريُقيَّم النموذج التنبؤي كأي نظام آخر: دالة قابلة للاستدعاء تُعيد تنبؤًا لكل حالة، وتقرؤه المُقيِّمات. أما ما يتغير فهو المقامات. فالدقة والاستدعاء والضبط ثلاثة معدلات على ثلاث مجموعات مختلفة من الصفوف، وقد يبدو النموذج جيدًا في أحدها بينما يخفق في السؤال الذي يطرحه العمل.الإشعاراتالتشغيل الناجح لا يُشعِر أحدًا. حين يرسل Oloproof إشعارًا فهذا يعني أن شيئًا ما يحتاج إلى قرار أو أنه على وشك التوقف عن العمل: إصدار حجبته بوابة، أو تشغيل مُدار انتهى، أو حصة استخدام توشك على النفاد.الأخطاءالتمييز الذي وُجدت هذه الصفحة من أجله: التشغيل الذي أخفق والتشغيل الذي وقع فيه خطأ أمران مختلفان، وتقديم أحدهما على أنه الآخر يُخبر المطوِّر بأن تغييره سيئ، بينما الحقيقة أن بيئة الاختبار هي التي تعطّلت.مرجع CLIكل أمر يسجّله Oloproof، مع ما يفعله. يقبل كل أمر منها --help، الذي يطبع النص الكامل الذي استُخلصت منه هذه الملخصات.