参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- GPTQ(基于二阶信息):量化时利用 Hessian(权重对应的二阶信息)衡量每个权重的重要性,逐层、逐列地做量化,并对量化误差做层内补偿——把当前权重的量化误差通过逆 Hessian 补偿到同层其他权重上,从而把 INT4 的精度损失压到很低。特点是「离线一次量化、推理零额外开销」,适合对精度要求高、能接受量化耗时的场景。
- AWQ(Activation-aware Weight Quantization):核心观察是「少量显著性权重(对激活影响大)决定性能」。它不量化这些显著权重、只量化其余权重,并按激活大小给权重乘一个可学习的缩放 protection 系数,等价于用激活分布指导量化。特点是「不依赖昂贵反量化补偿、对校准集敏感低、部署简单」,常作为 LLM 推理框架的默认 INT4 方案(如 4-bit AWQ)。
- 选型:追求极限精度且能跑离线量化→GPTQ;追求简单、稳、框架开箱即用→AWQ 更主流。两者都是 W4A16(权重 4bit、激活 16bit)范式。