IT 面试题库

模型推理优化常用手段(量化、剪枝、ONNX、批处理)有哪些?

高级简答题模型部署工程师MLOps工程师深度学习工程师模型量化剪枝ONNX推理优化

题目

列举并解释主流的模型压缩与加速技术。

参考答案

内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 72 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

量化:把 FP32 权重/激活降为 INT8/FP16,减小体积、加快计算,略有精度损失。

剪枝:删掉不重要的连接/通道,降低参数量与计算量(结构化剪枝更利于硬件加速)。

ONNX:把 PyTorch/TF 模型导出为统一中间表示,跨框架部署并用 ONNX Runtime 加速。

批处理与算子融合:合并请求提升 GPU 利用率,融合相邻算子减少访存。配合 TensorRT 等推理引擎可数倍提速。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题