typed-decision-bench
4nt0ineB/typed-decision-bench
Bench of typed decision models: Jev vs OpenJev vs Laya, small local LLMs and cheap hosted LLMs on the same zero-shot classification tasks, in English and French.
研究と評価Python
- スター
- 0
- フォーク
- 0
掲載理由
英仏語の同一分類課題でJev、OpenJev、Layaやローカル／ホスト型モデルを比べる小規模評価です。作者は1データセット・1種の質問に限定しており、数値は再現していません。
トピック
jevbenchmarkcalibrationenglishfrenchlayallm-evaluationmassive-dataset