I IT 面试题库
Transformer 为什么取代了 RNN 成为 NLP 的主流架构?Self-Attention 的本质是什么?
高级开放讨论题自然语言处理工程师NLP算法工程师NLPTransformerSelf-AttentionBERT
题目
考察点:RNN 的串行瓶颈与长程依赖、QKV 机制、位置编码、复杂度权衡。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- RNN 的两个死穴:① 串行计算(t 依赖 t-1)无法并行,训练慢;② 长程依赖衰减(梯度消失/信息稀释),LSTM/GRU 只是缓解。
- Self-Attention 本质:每个词的表示 = 全序列词表示的加权求和,权重由相似度决定——Query·Key 算相关性 → softmax 归一化 → 加权 Value。任意两词一步直达(路径长度 O(1)),长程依赖不再是问题;全序列并行计算。
- 位置问题:注意力本身无序(置换等变),必须注入位置信息——正弦位置编码/可学习编码(BERT)/旋转位置编码 RoPE(LLaMA 系)。
- 代价与变体:注意力复杂度 O(n²),长文本贵——催生稀疏注意力、FlashAttention(IO 感知加速)、线性注意力。Multi-Head 是把「多种相关性」并行建模(语法头/语义头各司其职)。
- 一句话:Transformer = 用「可并行的全局加权检索」替换「串行的状态传递」,这是 BERT/GPT 时代的架构基石。
题目与答案就在本页;收藏、批注和错题重练在应用内