参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- 部署挑战:① 延迟:Transformer 自注意力是 O(n²)(序列越长越慢),实时场景(搜索/对话)对 P99 延迟敏感;② 显存与算力:大模型参数与中间激活占用高,单机吞吐受限;③ 吞吐:高并发下 GPU 利用率与批处理(Batching)是关键;④ 变长输入:padding 带来算力浪费。
- 压缩手段:① 蒸馏:用大模型(教师)教小模型(学生),如 DistilBERT 在保留约 97% 效果下体积减 40%、快 60%;② 量化:FP16/INT8 降低精度换带宽与算力,推理框架原生支持;③ 剪枝:去掉冗余注意力头或权重。
- 推理加速工程:① 用 ONNX Runtime 或 TensorRT 做图优化与算子融合,跨硬件加速;② 动态批处理与连续批处理(continuous batching)提升 GPU 利用率;③ KV-Cache 复用、长序列分块;④ 模型服务化(如 Triton/vLLM 思路)做多模型多副本调度。
小结:BERT 上线要在「效果—延迟—成本」间权衡,靠蒸馏与量化压缩 + ONNX/TRT 加速 + 智能批处理落地。