jevassert
dtduc-git/jevassert
Record/replay regression tests for Jev (TypeSafe System One) question packs — accuracy, calibration and cost gates in CI
Python
- スター
- 0
- フォーク
- 0
掲載理由
Jevの問いの回帰テストツールです。記録した予測を保存し、後続チェックはモデルを呼ばずオフラインで決定論的に行います。
dtduc-git/jevassert
Record/replay regression tests for Jev (TypeSafe System One) question packs — accuracy, calibration and cost gates in CI
Jevの問いの回帰テストツールです。記録した予測を保存し、後続チェックはモデルを呼ばずオフラインで決定論的に行います。
YAML-based evaluation runner for recorded LLM outputs, with TypeSafe Jev API integration, offline mock mode, and CI reports.
共通トピック: evals, testing
Semantic assertions for pytest: test what your LLM app's output means, judged by TypeSafe's Jev.
共通トピック: llm-evaluation, testing
Test, calibrate and route System One decision models (Jev, Laya, kev, llama.cpp, Ollama) on your own data.
共通トピック: calibration, llm-evaluation