typed-lm
neurono-ml/typed-lm
Single-forward-pass semantic routing in Rust: turn dense LLMs (Llama, Qwen, Mistral, Gemma) into a typed decision API with LoRA/QLoRA training and FP8/FP4 quantization, built on Candle.
- スター
- 10
- フォーク
- 0
掲載理由
Rust/Candle でデコーダーモデルから型付きの是非・選択・評価を得る実装。アダプター学習と System One 形式の HTTP 接続を備える。Jev の関連代替実装として収録し、公式関係や完全互換性は保証しない。