Jev news

Jev-LDE 让 LLM 少样本示例一次编辑到位

X:马东锡 NLP (@dongxi_nlp)AIHOT score 46/100

Summary

You Only Edit Once: 通过局部示例精修激发 LLM 的上下文能力 挑选最佳少样本示例是一种缓慢的 System-2 搜索:组合爆炸,且往往需要反复调用 LLM。 我们把它变成了 System 1。⚡ Jev-LDE,一个 1.7B 的编辑器,扫一眼检索到的示例,只做一次编辑。LLM 只回答一次。 平均 1-shot 准确率 81.2 → 88.1 You Only Edit Once 🧵 动画演示(示意示例)。查询:“How far is it from Denver to Aspen?” 语义 TopK 检索出三个相似示例:“Where is Aspen, Colorado?”(Location)、“What state is Denver in?”(Location)、“Who founded Denver?”(Person)。Jev-LDE,一个 1.7B 的 System-1 编辑器,标记出第一个虽然主题相同但答案类型错误,并输出一个动作:将 S1 替换为候选 C1,“How far is Boston from NYC?”(Number)。冻结的目标 LLM 随后回答“Number”,这是正确的;若不编辑,它会回答“Location”。结尾卡片:在 3 个基准和 4 个目标 LLM 上,平均 1-shot 准确率从 81.2 提升至 88.1,在 48 个设置中有 44 个达到最佳或并列最佳,墙钟时间增加 11%。

Original title

You Only Edit Once: