vllm2jev
quaeast/vllm2jev
Jev-compatible adapter for vLLM: use any vLLM-served LLM for Choice, Score, and Noul decisions via logprobs—without modifying the model or vLLM service.
Python
- 星标
- 1
- 派生
- 0
收录依据
vllm2jev 是独立适配器,将类型化 Choice、Score 和 Noul 请求转换为由 vLLM 模型产生的结构化判断;它不是 TypeSafe 托管的 Jev 模型。