参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- vLLM:定位「高吞吐生产服务」,核心卖点是 PagedAttention + 连续批处理 + 开放生态,对主流开源模型支持好、易水平扩展,最适合对外高并发 API。缺点是对最新模型/定制算子的支持略滞后。
- TensorRT-LLM(Triton):NVIDIA 官方、在固定模型上把 kernel 融合/量化做到极致,单请求延迟和能效最优,但编译部署重、迭代慢、强绑定 NVIDIA 卡,适合延迟/成本极致且模型固定的场景。
- Ollama:开箱即用、本地一键跑,面向开发调试、单机试用、小流量演示,吞吐和并发能力弱,不适合严肃生产。
- 选型建议:①生产高并发 API → vLLM(或 SGLang)打底;②某模型要榨干延迟/成本且不愿频繁换 → TensorRT-LLM 编译部署;③本地开发/演示 → Ollama。落地时通常「Ollama 验证 → vLLM 上生产」,需要极限性能再叠加 TRT-LLM。
关键:框架只是引擎,前面「量化+连续批处理+KV 优化」的套路三家都通用,选型主要看「生态/延迟/运维成本」三角。