IT 面试题库

工业界部署 BERT 类模型做推理服务时会遇到哪些挑战?常见的加速与压缩手段有哪些?

高级系统设计题算法工程师机器学习工程师BERT部署推理加速蒸馏量化ONNX

题目

从延迟、显存、吞吐角度说明部署挑战,并给出蒸馏/量化/ONNX 等落地手段。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新

要点:

小结:BERT 上线要在「效果—延迟—成本」间权衡,靠蒸馏与量化压缩 + ONNX/TRT 加速 + 智能批处理落地。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题