列举并解释主流的模型压缩与加速技术。
量化:把 FP32 权重/激活降为 INT8/FP16,减小体积、加快计算,略有精度损失。
剪枝:删掉不重要的连接/通道,降低参数量与计算量(结构化剪枝更利于硬件加速)。
ONNX:把 PyTorch/TF 模型导出为统一中间表示,跨框架部署并用 ONNX Runtime 加速。
批处理与算子融合:合并请求提升 GPU 利用率,融合相邻算子减少访存。配合 TensorRT 等推理引擎可数倍提速。
题目与答案就在本页;收藏、批注和错题重练在应用内