Başlayın

Hızlı başlangıç

Motoru kurun, bir proje iskeleti oluşturun ve kendi makinenizde ilk çalıştırmanızı ve ilk kapı kararınızı alın. Siz push etmedikçe hiçbir şey makinenizden çıkmaz.

Bu adımlar README'deki adımlardır; yeniden yazılmak yerine burada gösterilirler: README.md, bir geliştiricinin GitHub'da karşılaştığı ve başlangıç testlerinin koda karşı sınadığı kopyadır; bu yüzden kaynak odur ve bu sayfa ondan scripts/generate_quickstart.py ile üretilir.

Geliştirme için kurulum

Depo kök dizininden:

python3 -m venv .venv
.venv/bin/python -m pip install -e '.[dev]'
pnpm install --frozen-lockfile
make check
pnpm --filter @oloproof/web check

Herkese açık Python yüzeyi şudur:

from oloproof import evaluate, system, current_case
from oloproof.evaluators import ExactMatch, Contains, JsonSchema, Regex, RubricJudge, evaluator

oloproof_core altındaki her şey motorun iç yapısıdır.

Hızlı başlangıç

Küçük bir proje oluşturun:

. .venv/bin/activate
oloproof init /tmp/oloproof-demo
cd /tmp/oloproof-demo
oloproof run

Değerlendiriciler

oloproof.yaml dosyasının kabul ettiği type: değerleri:


deterministik	exact_match, contains, regex, json_schema
LLM hakemi	rubric_judge, groundedness_judge, citation_support_judge; probability_judge: tek bir token'ın olasılıklarıyla yanıtlanan evet/hayır, seçim ya da puan sorusu; cascade: önce bir olasılık hakemi, yalnızca onun emin olmadığı yerde ikinci bir hakem
model	model_classifier: bir TEI sunucusundaki eğitilmiş bir sınıflandırıcı ya da NLI modeli, bir eşiğe karşı puanlanır
getirme	hit_rate, recall, mrr, ndcg, citation_validity
ajan	agent_max_steps, agent_tool_called, agent_no_tool_loop, agent_tool_sequence, agent_no_undeclared_tool, agent_constraints_satisfied
çoklu ajan	agent_route, agent_tool_permissions, agent_max_handoffs
tahminsel	predictive_correct, predictive_precision, predictive_recall, predictive_ranking, predictive_brier, predictive_log_loss, predictive_absolute_error

Bir hakem kendi provider değerini (anthropic, openai ya da openai_compatible), model değerini ve rubriğini rubric_text ya da rubric_file olarak belirtir. OpenAI API'sini konuşan ama OpenAI olmayan bir sağlayıcıdaki hakem — Groq, Together, yerel bir sunucu — ayrıca base_url ve api_key_env alanlarına da ihtiyaç duyar:

evaluators:
  - type: rubric_judge
    criterion: answer_correct
    provider: openai_compatible
    model: openai/gpt-oss-20b
    base_url: https://api.groq.com/openai/v1
    api_key_env: GROQ_API_KEY
    rubric_text: "PASS if the answer conveys the same fact as the reference."

Bir değerlendiricinin almadığı bir alanı belirtmek, aldığı alanların listesiyle yanıtlanır.

Mevcut bir çalıştırmayı, sistemi ya da değerlendiricileri yeniden çalıştırmadan yeniden karara bağlayın:

oloproof gate RUN_ID --policy release.yaml

Başarısızlıkları ve tek bir vakayı inceleyin:

oloproof inspect RUN_ID --failures
oloproof inspect RUN_ID --case refund_00

Bir arşivi dışa aktarın ve web workbench'inde açın:

oloproof export RUN_ID
OLOPROOF_BUNDLE_DIR="$PWD/.oloproof/bundles" pnpm --dir /path/to/Oloproof --filter @oloproof/web dev

Arşiv yolu mutlak olmalıdır, çünkü pnpm uygulamayı apps/web dizininden başlatır. Workbench çalışma alanı diziniyle açılır; tek başına bir OLOPROOF_BUNDLE_DIR orada local/bundles projesi olarak görünür. Tek bir makinede birkaç proje tutmak için bunun yerine OLOPROOF_WORKBENCH_DIR değişkenini bir workbench.json içeren bir dizine yönlendirin (docs/API_CONTRACTS.md).