すべてのプロジェクト

jev-synthetic-survey

jjd-lab/jev-synthetic-survey

Jev vs GPT-4.1 as synthetic survey respondents on Twin-2K-500. How you ask mattered more than which model you used.

Python
スター
2
フォーク
0

掲載理由

この独立調査は合成回答者の課題で、TypeSafe Jevの確率出力と文章化した推定を比較する。結果を一般的な性能指標とは扱わない。

関連プロジェクト

  • typed-decision-bench

    Bench of typed decision models: Jev vs OpenJev vs Laya, small local LLMs and cheap hosted LLMs on the same zero-shot classification tasks, in English and French.

    共通トピック: benchmark, calibration, llm-evaluation

  • jev-rag-benchmark

    Free English RAG benchmark for TypeSafe Jev 1.13 — frozen candidate pools, calibration, paired bootstrap CIs, $0 runs. Compared with OpenJev and NVIDIA cross-encoders.

    共通トピック: benchmark, calibration, llm-evaluation

  • jevals-data

    Independent benchmark data for TypeSafe's Jev (System One model) vs LLMs: accuracy, calibration, cost. Boards + per-decision logs, CC-BY-4.0

    共通トピック: benchmark, calibration, llm-evaluation