IT 面试题库

高级:为什么 Transformer 在海量数据上『有效』?请从全局感受野、并行训练、注意力可解释性出发论述,并指出它的固有局限(二次复杂度、长度外推)。

高级开放讨论题算法工程师Transformer规模定律长度外推大模型高级

题目

考察点:综合解释 Transformer 的成功原因,并能批判性指出其局限与改进方向(线性注意力、RoPE、长上下文)。属高级开放题。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

为什么有效

固有局限

一句话:Transformer 用全局并联的注意力 + 海量数据预训练换来了前所未有的表达力,代价是复杂度与长度外推,这两点正是当前大模型研究的主攻方向。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题