参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 本质:量化是把模型权重/激活从 FP16/BF16 映射到 INT8/INT4 等低比特表示,用「缩放因子+零点」做实数↔整数的线性映射,推理时用整数运算(或反量化回低精度)替代大部分浮点运算。
- 三类收益:①显存骤降——参数量几乎按比特数等比缩小,INT4 比 FP16 省约 4 倍,7B 模型 FP16 约 14GB、INT4 仅约 4GB,可直接塞进消费级显卡;②带宽压力下降——解码每 token 要搬权重,带宽瓶颈下低精度直接提吞吐;③算力利用率更高——现代 GPU 的 INT8/INT4 Tensor Core 峰值算力远高于 FP16。
- 代价:①精度损失——低比特丢信息,需校准(calibration)或微调(QAT)缓解,极端 INT2/INT3 会明显退化;②算子支持不全——并非所有算子都有低精度 kernel,出入口常需反量化;③工程复杂度——要配套量化工具链与精度验收。
一句话:量化是「用一点精度换显存、带宽、吞吐」的部署第一杠杆。