IT 面试题库

单选题:关于大模型推理的 KV Cache 与显存占用,下列说法正确的是? A. KV Cache 大小与上下文长度无关,只和模型层数有关 B. KV Cache 随序列长度近似线性增长,是长上下文高并发时显存的主要消耗项 C. 只要用了 INT4 量化,KV Cache 就不再是显存瓶颈 D. PagedAttention 通过把所有请求的 KV Cache 预分配成最大长度来避免碎片

中级单选题算法工程师KV Cache显存PagedAttention单选题

题目

考察点:KV Cache 与显存优化原理。要能判断每个选项对错,讲清 KV Cache 的线性增长特性与 PagedAttention 的真实做法。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

正确答案:B

记忆点:权重量化省的是「参数显存」,KV Cache 省的是「上下文显存」,两者是两笔账。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题