すべてのプロジェクト

jevbench

GautamTalksDev/jevbench

Preregistered, bias-corrected test of TypeSafe Jev's calibration under human disagreement (ChaosNLI, 100 labels per item)

Python
スター
1
フォーク
0

掲載理由

人の注釈が分かれると Jev の確信度が下がるかを調べる独立事前登録 ChaosNLI 研究。実証資料として収録し、較正の結論は保証しない。

関連プロジェクト

  • jev-benchmarks

    Probability-aware evaluation for typed decision models: calibration, selective risk, latency, and reproducible benchmarks.

    共通トピック: calibration, evaluation

  • here-we-go-jev

    Local playground and test bench for TypeSafe's Jev System One model: typed questions, calibrated-probability answers, and side-by-side comparison with an LLM baseline.

    共通トピック: calibration, evaluation

  • sysone-bench

    First independent head-to-head benchmark of System One decision models (Laya vs Jev) on byte-identical inputs

    共通トピック: calibration, evaluation