参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
正确答案:B
- A 错:KV Cache 是每层的 Key/Value 矩阵随 token 累加缓存,占用 ≈
2 × 层数 × 隐藏维 × seq_len × batch,与序列长度近似线性,长上下文时急剧膨胀。
- B 对:这是显存随并发/上下文上涨的根本原因,也是部署里必须重点管理的对象(长文本 + 高并发 = 显存杀手)。
- C 错:INT4 只压缩「权重」,KV Cache 默认仍是 FP16/BF16,量化权重后 KV Cache 反而可能成为占比更大的显存项(所以才有 FP8 KV Cache 这类优化)。
- D 错:PagedAttention 恰好不预分配最大长度——它像操作系统虚拟内存一样把 KV Cache 切成固定大小的 block 按需分配、请求间共享前缀 block,从而消除预分配碎片,而不是预分配。
记忆点:权重量化省的是「参数显存」,KV Cache 省的是「上下文显存」,两者是两笔账。