解释数据加载流水线与锁页内存的作用,给出调参建议。
num_workers:DataLoader 默认在主进程同步读数据,GPU 等数据就空转。设为 N 后开 N 个子进程并行做「读盘→解码→增强→collate」,与 GPU 计算重叠成流水线。N 太小喂不饱 GPU(GPU util 波动大),太大则进程启动/IPC 开销与内存暴涨,还可能互相抢 IO。调法:从 CPU 物理核数的一半开始翻倍试,观察 GPU util 与每 epoch 时间拐点;数据小到内存放得下时直接缓存/内存盘更彻底。
pin_memory=True:把 batch 预拷到锁页内存(不可被 OS 换出的物理页),GPU 可用 DMA 直接异步搬运,配合 non_blocking=True 让 H2D 拷贝与计算重叠;代价是锁页内存占用高、不可换出。CPU 训练则无用。
排查口诀:先看 GPU util——低于 70% 且波动大,多半是数据管道瓶颈:加大 workers / pin_memory / prefetch_factor,检查是否 decode(如 PIL/JPEG)过重,必要时上 DALI/WebDataset。
题目与答案就在本页;收藏、批注和错题重练在应用内