I IT 面试题库
Transformer 为什么能取代 RNN/LSTM?位置编码与自注意力并行机制解决了序列模型的哪些根本瓶颈?
初级简答题算法工程师机器学习工程师自然语言处理工程师NLPLLM应用开发工程师Transformer注意力机制位置编码序列建模
题目
考察点:对 Transformer 相对循环神经网络的结构性优势的理解,以及位置编码的必要性。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 并行计算:RNN/LSTM 必须按时间步顺序展开,第 t 步依赖 t-1 的隐状态,无法并行;Transformer 的自注意力一次性看到整条序列,所有位置可同时计算,训练速度随序列长度呈线性(而非串行)提升,能充分利用 GPU。
- 长程依赖:RNN 的信息需经多步传递,间隔越远衰减越严重(梯度消失);自注意力任意两位置直接相连,路径长度恒为 O(1),长句/长文档的远距离依赖更容易学到。
- 位置编码的必要性:自注意力本身对顺序不敏感(置换等变),必须显式注入位置信息。原始论文用正弦/余弦函数生成绝对位置编码,让模型区分「猫 吃 鱼」与「鱼 吃 猫」;后续也发展出可学习位置编码与旋转位置编码(RoPE)。
- 代价:自注意力复杂度是 O(n²·d),序列极长时显存与计算开销大,这也是后续 Longformer、FlashAttention 等优化的出发点。
题目与答案就在本页;收藏、批注和错题重练在应用内