Jev ニュース

Jev-as-a-Judge 论文:廉价裁判置信时接受、不确定时上升至 GPT-6,保留 99% 准确率并省约 43% 费用

X:DAIR.AI (@dair_ai)AIHOT スコア 51/100

要約

论文介绍 JEV-as-a-Judge,发现多数评测可用廉价裁判,仅把不确定判定交给前沿模型。在 510 个保留偏好对上,级联接受 JEV 置信判定、其余上升至 GPT-6 Astra,保留 GPT-6 约 99% 的准确率,费用约为其 57%。

元の記事の見出し

Banger paper introducing Jev-as-a-Judge. The overall finding is that you want to use a cheap judge …