参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
设定(n=2 个 token,d_k=d_v=2)
- Q = K = [[1, 0], [0, 1]],V = [[1, 2], [3, 4]]。
① QKᵀ(相似度矩阵,n×n)
- QKᵀ = [[1·1+0·0, 1·0+0·1], [0·1+1·0, 0·0+1·1]] = [[1, 0], [0, 1]]。每行代表一个 query 对所有 key 的点积。
② 缩放 ÷√d_k(d_k=2 → ÷1.414)
- [[0.707, 0], [0, 0.707]]。把数值拉回合理区间。
③ softmax 按行归一(n×n,每行和为 1)
- 行1:exp(0.707)=2.03、exp(0)=1 → 归一后 ≈ [0.67, 0.33];行2 同理 ≈ [0.33, 0.67]。得到注意力权重矩阵 A。
④ A·V(加权聚合,n×d_v)
- 行1:0.67·[1,2] + 0.33·[3,4] ≈ [1.66, 2.66];行2:0.33·[1,2] + 0.67·[3,4] ≈ [2.34, 3.34]。
- 最终输出 ≈ [[1.66, 2.66], [2.34, 3.34]]。
维度链:Q(n×d_k) × Kᵀ(d_k×n) → (n×n) → softmax → (n×n) × V(n×d_v) → (n×d_v)。多头时 d_k 拆成 h 份,最后拼接投影回 d_model。