参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
Warmup
- 训练初期参数随机、梯度尺度不稳,先用小学习率再升到目标值,避免大更新把模型带坏;Transformer/大 batch 常用。
归一化
- BatchNorm/LayerNorm 稳定激活分布、加速收敛;BatchNorm 依赖 batch 统计,小 batch/分布变化要谨慎,LayerNorm 更适合序列。
梯度裁剪
- 限制梯度范数,防止个别 batch 的爆炸梯度导致参数飞掉;RNN/RL/混合精度训练常用,但阈值要按模型/任务调。
一起用
- 先保证数据/初始化正确,再调 LR(warmup+cosine)、归一化位置、weight decay;监控 loss/grad norm/激活,不要只堆技巧。