IT面试题库
模型部署优化面试题
模型部署优化方向的 8 道 IT 面试题,覆盖高频考点、参考答案与错题复习。
高频题目
模型推理优化常用手段(量化、剪枝、ONNX、批处理)有哪些?
高级 · 新题
大模型部署里常说的「量化」到底是什么?INT8 / INT4 量化相比 FP16 能带来哪些收益,又要付出什么代价?
初级 · 新题
GPTQ 和 AWQ 这两种主流权重量化算法,思路上有什么本质区别?分别适合什么场景?
中级 · 新题
场景题:要把一个 7B 模型部署到单张 24G 显卡对外提供 API,FP16 权重约 14GB 显存不够留余量,怎么做选型让它既能跑、延迟又可接受?
中级 · 新题
单选题:关于大模型推理的 KV Cache 与显存占用,下列说法正确的是? A. KV Cache 大小与上下文长度无关,只和模型层数有关 B. KV Cache 随序列长度近似线性增长,是长上下文高并发时显存的主要消耗项 C. 只要用了 INT4 量化,KV Cache 就不再是显存瓶颈 D. PagedAttention 通过把所有请求的 KV Cache 预分配成最大长度来避免碎片
中级 · 新题
故障排查:线上大模型推理服务显存周期性 OOM,监控显示 KV Cache 占用随并发持续上涨且不释放。如何定位根因并优化?
高级 · 新题
开放讨论:大模型推理服务的成本怎么估算与权衡?说明「小模型+量化」和「大模型+高并发」的成本拐点一般怎么算。
高级 · 新题
场景题:要在生产环境搭一个高并发大模型 API 服务,vLLM、TensorRT-LLM、Ollama 三家推理框架分别适合什么场景?给出选型建议与理由。
高级 · 新题
在线刷模型部署优化题 →