IT 面试题库

大模型推理时的 KV Cache 是什么?为什么上下文越长推理越贵?请估算 7B 模型 8K 上下文的 KV 显存。

高级计算题LLM应用开发工程师算法工程师模型部署工程师KV Cache推理优化显存估算GQA

题目

考察自回归推理的缓存机制与显存定量估算。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 51 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

结论

自回归生成每一步都要对「全部历史 token」做注意力。为避免重复计算,把每层每个头的 K、V 向量缓存下来,每步只算新 token 的 q/k/v 并追加——用显存换算力。代价是 KV Cache 随序列长度线性增长,长上下文场景它就是显存与带宽的第一瓶颈。

为什么要缓存

显存算例(7B 模型,fp16,单请求)

公式:KV 显存 = 2(K,V) × 层数 × KV头数 × head_dim × seq_len × batch × 字节数

优化方向

追问:为什么只缓存 K/V 不缓存 Q——注意力是「当前 token 的 Q」去查历史的 K/V,Q 每步都是新的、无需保留。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题