解释 Q/K/V、注意力分数与多头机制。
Self-Attention 让序列中每个 token 关注其他 token 并加权聚合信息。
步骤:
score = Q·Kᵀ / √d_k(√d_k 防止点积过大导致 softmax 梯度消失)。多头(Multi-Head):并行多组 Q/K/V 投影,各自捕捉不同子空间关系(语法、语义、位置),拼接后线性融合,增强表达能力。
位置编码:因 attention 本身无序,需加入位置信息(正弦编码或可学习编码/RoPE)。
题目与答案就在本页;收藏、批注和错题重练在应用内