自注意力是 Transformer 的核心,Q/K/V 与缩放点积是最常被追问的实现细节,关系到对注意力数学本质的理解。
输入经三个可学习线性变换得到:
注意力就是「用 Q 去匹配各 token 的 K,按匹配度对 V 做加权求和」。
缩放点积注意力公式为 softmax(Q·Kᵀ / √d_k)·V。
d_k(向量维度)增大而增大,方差也随 d_k 线性放大;√d_k 把点积的方差拉回稳定范围,使 softmax 有梯度、训练更稳。多头注意力则是把 Q/K/V 投影到多组子空间并行计算,再拼接,从而捕捉不同类型的依赖关系。
题目与答案就在本页;收藏、批注和错题重练在应用内