IT 面试题库

大模型部署里常说的「量化」到底是什么?INT8 / INT4 量化相比 FP16 能带来哪些收益,又要付出什么代价?

初级简答题算法工程师大模型部署量化INT8INT4推理优化

题目

考察点:量化基本概念与权衡。要求说清量化的本质(低精度表示权重/激活)、三类收益(显存、带宽、吞吐),以及代价(精度损失、部分算子不支持、校准成本)。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:

一句话:量化是「用一点精度换显存、带宽、吞吐」的部署第一杠杆。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题