参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
为什么必须
- Self-Attention 对输入 token 的排列是置换等变的:打乱句子顺序,注意力权重也跟着打乱,模型本身分不清『我打你』和『你打我』。因此必须在输入里显式加入位置信号。
正弦位置编码(原始论文)
- 对位置 pos、维度 i,用两组函数注入:PE(pos, 2i) = sin(pos / 10000^(2i/d_model)),PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))。
- 直接加到词向量上(与 embedding 同维),随网络一起送入注意力。
特点
- 可外推:正弦/余弦是确定公式,理论上能表示比训练时更长的位置(虽然后续仍受窗口限制)。
- 相对位置可线性表达:对任意固定偏移 k,PE(pos+k) 可由 PE(pos) 线性函数得到,便于模型学习相对位置。
- 无需学习、固定,参数量小;但表达能力弱于可学习编码。
演进
- 后续常用可学习绝对编码、RoPE(旋转位置编码,旋转查询/键值)、ALiBi(不加偏置、用距离衰减)等,分别解决长度外推、相对位置建模等问题。