IT 面试题库

训练好的 PyTorch 模型如何导出部署(ONNX/TorchScript)?有哪些注意事项?

中级简答题深度学习工程师模型部署工程师MLOps工程师PyTorchONNX模型部署

题目

对比两种导出方式与常见坑(动态轴、算子支持、数值一致性)。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

TorchScript:torch.jit.trace(喂样例输入记录执行路径,快但分支固定)或 torch.jit.script(解析代码保留控制流);产物自包含,PyTorch/C++ LibTorch 可跑,适合纯 PyTorch 栈。

ONNX:torch.onnx.export 转 ONNX,之后可用 ONNX Runtime / TensorRT / OpenVINO 推理,跨框架跨硬件,工程上最常用。

注意事项:① 动态轴:batch/序列长度要显式声明 dynamic_axes,否则 shape 写死;② 算子支持:导出前查 opset 覆盖,不支持的自定义算子要注册或改写(如部分 attention/自定义 CUDA op);③ 控制流与动态结构:trace 会固化分支,含 if/循环的模型用 script 或拆分导出;④ 数值一致性:导出后用多组输入对比 PyTorch 输出(atol/rtol),注意 AMP 模型导出精度;⑤ 预处理/后处理随模型一起固化或明确文档化,避免训练-服务偏移;⑥ 部署前做性能基线(latency/throughput/QPS)与精度回归(离线指标对齐),纳入 CI。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题