すべてのプロジェクト

jev-benchmarks

AbdelStark/jev-benchmarks

Probability-aware evaluation for typed decision models: calibration, selective risk, latency, and reproducible benchmarks.

Python
スター
28
フォーク
5

掲載理由

ベンチマークREADMEは、ゼロショット単一ラベル判断とラベル別確率についてTypeSafe Jevと別の分類器を比較すると説明しています。

関連プロジェクト

  • here-we-go-jev

    Local playground and test bench for TypeSafe's Jev System One model: typed questions, calibrated-probability answers, and side-by-side comparison with an LLM baseline.

    共通トピック: calibration, evaluation

  • jevbench

    Preregistered, bias-corrected test of TypeSafe Jev's calibration under human disagreement (ChaosNLI, 100 labels per item)

    共通トピック: calibration, evaluation

  • sysone-bench

    First independent head-to-head benchmark of System One decision models (Laya vs Jev) on byte-identical inputs

    共通トピック: calibration, evaluation