IT 面试题库

DataLoader 的 num_workers 与 pin_memory 如何影响训练吞吐?

初级简答题机器学习工程师深度学习工程师PyTorchDataLoader训练吞吐

题目

解释数据加载流水线与锁页内存的作用,给出调参建议。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

num_workers:DataLoader 默认在主进程同步读数据,GPU 等数据就空转。设为 N 后开 N 个子进程并行做「读盘→解码→增强→collate」,与 GPU 计算重叠成流水线。N 太小喂不饱 GPU(GPU util 波动大),太大则进程启动/IPC 开销与内存暴涨,还可能互相抢 IO。调法:从 CPU 物理核数的一半开始翻倍试,观察 GPU util 与每 epoch 时间拐点;数据小到内存放得下时直接缓存/内存盘更彻底。

pin_memory=True:把 batch 预拷到锁页内存(不可被 OS 换出的物理页),GPU 可用 DMA 直接异步搬运,配合 non_blocking=True 让 H2D 拷贝与计算重叠;代价是锁页内存占用高、不可换出。CPU 训练则无用。

排查口诀:先看 GPU util——低于 70% 且波动大,多半是数据管道瓶颈:加大 workers / pin_memory / prefetch_factor,检查是否 decode(如 PIL/JPEG)过重,必要时上 DALI/WebDataset。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题