Modal 与 CMU 推出 Quail:联合优化查询规划器与推理引擎,加速 AI-SQL
Modal 官方工程博客(RSS)AIHOT 评分 43/100
摘要
Modal 与 CMU Full Stack Data Lab 联合推出查询感知推理层 Quail,通过联合优化查询规划器与推理引擎加速 AI-SQL 查询。在某个多表连接查询上,Quail 单张 H100 GPU 每分钟处理超 10 亿 token,比同硬件 vLLM 基线快 10 倍以上,Modal 上成本低于每 10 亿 token 6 美分。
原始标题
Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engine