参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
为什么要缩放
- 设 Q、K 各分量独立同分布、均值 0、方差 1,则点积 q·k = Σ q_i k_i 的均值为 0、方差为 d_k(维度越高方差越大)。
- 方差大 → 点积的绝对值普遍很大 → 喂进 softmax 后分布在饱和区,梯度趋近 0,训练难以更新。
- 除以 √d_k 后,缩放后点积的方差回到约 1,softmax 输入落在合理区间,梯度健康。
不缩放的后果
- 高维时 softmax 输出接近 one-hot,注意力权重过于尖锐,模型难以在多个 token 间柔和分配注意力,表达与学习都受限。
- 梯度消失使深层 Transformer 难以训练。
补充
- 该缩放仅针对点积注意力;加性注意力(Bahdanau)无此问题,但计算更贵。
- 后续 RoPE、线性注意力等变体在缩放/相似度定义上做文章,本质仍在控制相似度尺度。