I IT 面试题库
如何设计一个支撑高并发的大模型推理服务?请说明 KV Cache、连续批处理(continuous batching)、量化与显存管理的取舍。
高级系统设计题算法工程师LLM应用开发工程师后端开发工程师云架构师推理服务KV Cache批处理量化显存LLM Serving
题目
考察点:LLM 推理服务的系统工程能力——吞吐、延迟、显存三者之间的权衡。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- KV Cache 是吞吐基石:自回归生成时每一步都要重算历史 Key/Value,代价极高。把每层的 K/V 缓存起来,后续步直接复用,把复杂度从 O(n²) 降到接近 O(n)。代价是显存随序列数与长度线性增长,需要分页/分块管理(如 PagedAttention)避免碎片。
- 连续批处理(continuous batching):传统静态批处理要等同批所有请求都生成完才能释放,短请求被长请求拖死。连续批处理在 token 级别调度,谁先结束谁先让出显存、新请求随时插入,GPU 利用率显著提升(vLLM/TGI 的核心优化)。
- 量化压缩显存与带宽:FP16→INT8/INT4(如 GPTQ、AWQ)能把显存占用与访存带宽砍半甚至更多,从而塞下更大模型或更大 batch;代价是精度略有损失,关键业务需做精度回归评测。
- 显存与延迟权衡:用张量并行/流水线并行把大模型切到多卡;用前缀缓存(prefix cache)复用相同系统提示;对外用流式输出降低首字延迟(TTFT)感知。监控 P99 延迟与显存水位,按 SLA 限流与 autoscale。
题目与答案就在本页;收藏、批注和错题重练在应用内