参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 31 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 量化路线:训练后量化(PTQ)用校准集统计激活范围,把 FP32 权重/激活转 INT8,成本低;量化感知训练(QAT)在训练中模拟量化误差,精度更好但需要标注数据与训练资源。
- 收益与代价:INT8 模型体积约为 FP32 的 1/4,内存带宽与功耗下降,整数算力更高;代价是精度损失、离群值难校准、部分算子不支持量化需要回退,端到端指标可能下降。
- 落地:用 ONNX Runtime / TFLite / TensorRT 检查算子支持,优先 per-channel 量化,校准集要覆盖真实分布;上线前做精度回归与延迟/功耗实测,保留 FP32 回退路径。