参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新
要点:
- 计算步骤:对输入序列每个 token 的向量,分别线性投影出 Query(Q)、Key(K)、Value(V) 三组向量;用每个 Q 与所有 K 做点积得到相似度,除以 √d_k 缩放(防止维度过大时点积值过大、softmax 梯度消失),再 softmax 得到注意力权重,最后对 V 加权求和。公式:
Attention(Q,K,V)=softmax(QKᵀ/√d_k)V。
- 缩放点积的意义:d_k 很大时点积方差随维度线性增长,softmax 进入饱和区、梯度变小;除以 √d_k 把方差拉回稳定范围。
- 多头注意力(Multi-Head):把 Q/K/V 切成 h 组,并行做 h 次注意力再拼接或线性融合。不同头可以关注不同子空间(句法、语义、指代等),比单头表达能力更强。
- 位置信息:Attention 本身无序,需额外加 Position Embedding 注入词序。
小结:Self-Attention 让每个词「按需」聚合全句上下文;多头则从多个表示子空间并行捕捉不同关系。