IT 面试题库

训练太慢或显存不足,有哪些工程优化手段(AMP、梯度累积、DDP)?

中级简答题深度学习工程师机器学习工程师MLOps工程师PyTorchAMPDDP训练优化

题目

按「显存 → 吞吐 → 多卡」给出可落地的手段与注意点。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

省显存:① 混合精度 AMP(autocast + GradScaler):激活与权重半精度,显存近半、速度随 tensor core 提升;② 梯度检查点(torch.utils.checkpoint):以重算换显存,激活省 60%+;③ 减 batch + 梯度累积:小 batch 跑多次再 step,等效大 batch;④ zero_grad(set_to_none=True)、及时 detach、避免保留中间变量;⑤ 优化器选 8-bit(bitsandbytes)或分片。

提吞吐:① DataLoader:num_workers=CPU 核数的一半起步、pin_memory=True、prefetch_factor 调优,确保数据管道不饿 GPU;② cudnn.benchmark=True(输入尺寸固定时);③ 算子融合/编译:torch.compile;④ 尽量少 .item()/.cpu() 同步点。

多卡:① DDP(DistributedDataParallel):每卡完整模型 + 数据并行,AllReduce 同步梯度,多机也可用,是默认起点;② FSDP/ZeRO:模型太大时分片参数/优化器状态;③ 吞吐基准用 samples/s 衡量,先排除 IO 瓶颈再谈并行。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题