IT 面试题库

Transformer 自注意力机制里的 Q / K / V 分别是什么?缩放点积注意力为什么要除以 √d_k?

中级简答题算法工程师机器学习工程师Transformer注意力机制深度学习

题目

自注意力是 Transformer 的核心,Q/K/V 与缩放点积是最常被追问的实现细节,关系到对注意力数学本质的理解。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Q / K / V 的含义

输入经三个可学习线性变换得到:

注意力就是「用 Q 去匹配各 token 的 K,按匹配度对 V 做加权求和」。

为什么要除以 √d_k

缩放点积注意力公式为 softmax(Q·Kᵀ / √d_k)·V。

多头注意力则是把 Q/K/V 投影到多组子空间并行计算,再拼接,从而捕捉不同类型的依赖关系。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题