参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
为什么有效
- 全局、恒定路径的感受野:任意两 token 一步可达,长程依赖不再被距离衰减,配合残差/层归一化,深层也能保留远端信号。
- 高度可并行:序列维度完全解耦,千亿参数可在超大规模语料上高效预训练,吃到规模定律(scaling law)红利。
- 注意力可解释:注意力权重可被可视化、探查模型在看哪,便于分析与对齐。
- 架构通用:同一套注意力可处理文本/图像/语音(把 patch/帧当作 token),迁移性强。
固有局限
- 二次复杂度 O(n²):长文档/高分辨率图像下显存与算力爆炸,催生 FlashAttention、稀疏/线性注意力(如 Performer、RWKV)。
- 长度外推差:训练时见过的上下文有限,推理超长时位置编码失效;改进有 RoPE 的旋转扩展、ALiBi、NTK-aware 缩放、位置插值(PI)。
- 无归纳偏置:小数据下不如 CNN/RNN,需要大数据与正则。
- 注意力稀疏性 / 内容无关:标准 softmax 注意力对全体 token 加权,存在注意力沉没现象,后续有用门控/混合专家(MoE)优化。
一句话:Transformer 用全局并联的注意力 + 海量数据预训练换来了前所未有的表达力,代价是复杂度与长度外推,这两点正是当前大模型研究的主攻方向。