IT 面试题库

Transformer 的 Self-Attention 原理是什么?

高级简答题算法工程师AI应用开发工程师Transformer注意力大模型

题目

解释 Q/K/V、注意力分数与多头机制。

参考答案

内容深度:适中 · 无代码示例 · 来源:种子题库 · 未复核 · 89 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Self-Attention 让序列中每个 token 关注其他 token 并加权聚合信息。

步骤:

  1. 每个输入 token 映射为 Query(Q)、Key(K)、Value(V) 三个向量。
  2. 计算相似度:score = Q·Kᵀ / √d_k(√d_k 防止点积过大导致 softmax 梯度消失)。
  3. softmax 归一化得到注意力权重。
  4. 权重对 V 加权求和得输出。

多头(Multi-Head):并行多组 Q/K/V 投影,各自捕捉不同子空间关系(语法、语义、位置),拼接后线性融合,增强表达能力。

位置编码:因 attention 本身无序,需加入位置信息(正弦编码或可学习编码/RoPE)。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题