作者分享用 logprobs 读取 LLM 选项概率的单函数封装,并扩展到视觉模型
Hacker News:AI 热帖AIHOT 评分 58/100
摘要
作者受 Jev 及 OpenJev、SemIf 启发,实现了一个单函数封装:让 LLM 只生成一个选项字母,再读取 top_logprobs 得到各选项概率。
原始标题
A single function Jev-like wrapper for LLMs, including vision models
Hacker News:AI 热帖AIHOT 评分 58/100
作者受 Jev 及 OpenJev、SemIf 启发,实现了一个单函数封装:让 LLM 只生成一个选项字母,再读取 top_logprobs 得到各选项概率。
A single function Jev-like wrapper for LLMs, including vision models