参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 成本拆解公式:单实例成本 ≈ 显卡单价 × 卡数;总吞吐 ≈ 单实例 QPS × 实例数;单请求成本 ≈ 实例成本 / 总吞吐。而「能塞几张卡」由权重+KV Cache 显存决定,所以量化直接决定实例密度(显存减半≈同卡多开一倍实例)。
- 「小模型+量化」路线:INT4 小模型显存小、单卡可开多实例、单价低,适合量大、延迟敏感、质量门槛不高的通用场景(客服、摘要),边际成本随量化线性下降。
- 「大模型+高并发」路线:大模型质量高但单实例贵、吞吐受限于显存与 KV,适合质量敏感、量相对小的场景;高并发要靠连续批处理把单卡 QPS 拉满才划算。
- 拐点怎么算:把两类方案代入「单请求成本 = 卡单价×卡数 / (单卡QPS×卡数) = 卡单价 / 单卡QPS」,比较在目标 QPS 下谁的「卡单价/有效QPS」更低;通常当质量达标时,量化小模型在绝大多数中低复杂任务上单请求成本最低,只有质量不达标才上大模型。
结论:成本权衡的本质是「用质量换显存密度」,量化是杠杆,连续批处理是把杠杆放大的引擎。