I IT 面试题库
Transformer架构的核心思想是什么?
高级简答题芯片设计工程师(IC设计)系统软件工程师TransformerAI
题目
请解释自注意力机制和Transformer的基本结构。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 已复核 · 28 天前更新
核心
- Transformer 用自注意力替代 RNN 的循环结构,让序列中任意两个位置直接交互,路径长度 O(1),可并行训练。
- 多头注意力在不同子空间学习关系;位置编码补充顺序信息;残差+LayerNorm 稳定深层训练。
结构
- Encoder:多头自注意力 + FFN;Decoder:掩码自注意力 + 编码器-解码器交叉注意力 + FFN。
- 训练用 teacher forcing/并行化;推理自回归逐 token 生成,可用 KV Cache 加速。
意义/边界
- 长序列注意力 O(n²) 成本;后续有稀疏/线性注意力、FlashAttention 等优化;理解时必须区分「自注意力」与「Transformer 整体」。
题目与答案就在本页;收藏、批注和错题重练在应用内