参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
作用
- 对每个通道做均值/方差归一化,稳定分布、加速收敛、允许更大学习率;有轻微正则效果。
- 对卷积网络尤其常用;小 batch/检测分割可能用 GroupNorm/LayerNorm 替代。
训练 vs 推理
- 训练用当前 batch 统计并更新 running mean/var;推理用 running 统计(或冻结),保证单张输入稳定。
- 忘记
.eval() 会导致推理结果随 batch 变化;BatchNorm 与 dropout 都要切换模式。
注意
- batch 太小统计不稳;分布偏移/域适应要小心;部署融合 BN 到卷积可加速。