参考答案
内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 51 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
结论
自回归生成每一步都要对「全部历史 token」做注意力。为避免重复计算,把每层每个头的 K、V 向量缓存下来,每步只算新 token 的 q/k/v 并追加——用显存换算力。代价是 KV Cache 随序列长度线性增长,长上下文场景它就是显存与带宽的第一瓶颈。
为什么要缓存
- 无缓存:第 n 步要对 n 个 token 重算全部 K/V,整段生成累计 O(n²) 次注意力且大量重复矩阵乘;
- 有缓存:每步只处理 1 个新 token(O(n) 注意力 + 1 次 KV 追加),生成速度提升一个量级;
- 由此推理分两阶段:prefill(一次性吃 prompt,算力 bound)与 decode(逐 token,访存 bound)——vLLM 的 PagedAttention 就是为治理 KV 显存的碎片与浪费而生。
显存算例(7B 模型,fp16,单请求)
公式:KV 显存 = 2(K,V) × 层数 × KV头数 × head_dim × seq_len × batch × 字节数
- 7B 常见配置:32 层、隐藏维 4096(32 头 × 128);若用 MHA(KV 头数=32):
- 每 token:2 × 32 × 4096 × 2B = 512 KB;
- 8K 上下文:8192 × 512KB ≈ 4 GB——而 7B 权重本身才约 14 GB,一条长请求的 KV 就吃掉近 1/3;batch=8 时约 32 GB,直接 OOM。
优化方向
- GQA/MQA:KV 头降到 8 组甚至 1 组 → KV 显存 ÷4 或 ÷32(现代 7B 级模型几乎标配 GQA);
- KV 量化(fp8/int8)、滑动窗口/稀疏注意力、PagedAttention 分页复用、前缀缓存(相同 system prompt 只算一次)。
追问:为什么只缓存 K/V 不缓存 Q——注意力是「当前 token 的 Q」去查历史的 K/V,Q 每步都是新的、无需保留。