IT面试题库
Transformer架构面试题
Transformer架构方向的 7 道 IT 面试题,覆盖高频考点、参考答案与错题复习。
高频题目
Transformer 的 Self-Attention 原理是什么?
高级 · 新题
缩放点积注意力(Scaled Dot-Product Attention)里为什么要除以 √d_k?不缩放会有什么问题?
中级 · 新题
计算题:给定 Q、K、V 三个小矩阵,手动走一遍 Scaled Dot-Product Attention 的完整计算(softmax(QKᵀ/√d_k)V),并说明每一步的维度变化。
中级 · 新题
什么是位置编码(Positional Encoding)?为什么 Transformer 必须引入它?正弦位置编码如何工作、有什么特点?
初级 · 新题
Transformer 的 Encoder 与 Decoder 各由哪些子层堆叠而成?其中的 Encoder-Decoder 注意力(交叉注意力)起什么作用?
中级 · 新题
相比 RNN 与 CNN,Transformer 在并行性、长距离依赖、归纳偏置上各有什么优劣?
中级 · 新题
高级:为什么 Transformer 在海量数据上『有效』?请从全局感受野、并行训练、注意力可解释性出发论述,并指出它的固有局限(二次复杂度、长度外推)。
高级 · 新题
在线刷Transformer架构题 →