jev-router
rajdhakad9826/jev-router
LLM router that picks the cheapest model capable of handling a query, using TypeSafe's Jev for fast classification instead of an LLM call.
TypeScript
- スター
- 13
- フォーク
- 1
掲載理由
このルーターはJevで依頼の難度を分類してから、設定済みのLLM層へ振り分けます。
rajdhakad9826/jev-router
LLM router that picks the cheapest model capable of handling a query, using TypeSafe's Jev for fast classification instead of an LLM call.
このルーターはJevで依頼の難度を分類してから、設定済みのLLM層へ振り分けます。