すべてのプロジェクト

typed-lm

neurono-ml/typed-lm

Single-forward-pass semantic routing in Rust: turn dense LLMs (Llama, Qwen, Mistral, Gemma) into a typed decision API with LoRA/QLoRA training and FP8/FP4 quantization, built on Candle.

Rust
スター
10
フォーク
0

掲載理由

Rust/Candle でデコーダーモデルから型付きの是非・選択・評価を得る実装。アダプター学習と System One 形式の HTTP 接続を備える。Jev の関連代替実装として収録し、公式関係や完全互換性は保証しない。

関連プロジェクト

  • ezjev

    Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.

    共通トピック: huggingface, lora

  • bobcat

    Bobcat: a typed-decision model. State in, Choice / Noul / Score out, with a probability for every answer you name; no generated text. Compiler, server, training and evaluation code for Bobcat 1.1 and Bobcat Flash 1.1.

    共通トピック: classification, huggingface

  • v1-decisions-vllm

    Modular typed decisions (Jev-type) endpoint for vLLM: /v1/decisions with /v1/systemone compatibility, pluggable readout backends

    共通トピック: classification, inference