IT 面试题库

计算题:给定 Q、K、V 三个小矩阵,手动走一遍 Scaled Dot-Product Attention 的完整计算(softmax(QKᵀ/√d_k)V),并说明每一步的维度变化。

中级场景题算法工程师注意力计算QKVTransformer推导

题目

考察点:把抽象公式落到一个 2×2 的具体数值例子;理解 QKᵀ、缩放、softmax 按行归一、与 V 相乘四步。属计算/推导题。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

设定(n=2 个 token,d_k=d_v=2)

① QKᵀ(相似度矩阵,n×n)

② 缩放 ÷√d_k(d_k=2 → ÷1.414)

③ softmax 按行归一(n×n,每行和为 1)

④ A·V(加权聚合,n×d_v)

维度链:Q(n×d_k) × Kᵀ(d_k×n) → (n×n) → softmax → (n×n) × V(n×d_v) → (n×d_v)。多头时 d_k 拆成 h 份,最后拼接投影回 d_model。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题