すべてのプロジェクト

typed-decision-bench

4nt0ineB/typed-decision-bench

Bench of typed decision models: Jev vs OpenJev vs Laya, small local LLMs and cheap hosted LLMs on the same zero-shot classification tasks, in English and French.

Python
スター
0
フォーク
0

掲載理由

英仏語の同一分類課題でJev、OpenJev、Layaやローカル/ホスト型モデルを比べる小規模評価です。作者は1データセット・1種の質問に限定しており、数値は再現していません。

関連プロジェクト

  • jev-rag-benchmark

    Free English RAG benchmark for TypeSafe Jev 1.13 — frozen candidate pools, calibration, paired bootstrap CIs, $0 runs. Compared with OpenJev and NVIDIA cross-encoders.

    共通トピック: benchmark, calibration, llm-evaluation

  • sysone-bench

    First independent head-to-head benchmark of System One decision models (Laya vs Jev) on byte-identical inputs

    共通トピック: benchmark, calibration, laya

  • system-one-playground

    Run the new wave of decision models (Laya, Decider, Kev, Jev) side by side on your Mac. Structured input in, calibrated probabilities out, with honest accuracy, calibration, latency and memory numbers.

    共通トピック: benchmark, calibration, laya