IT 面试题库

Transformer 的 Encoder 与 Decoder 各由哪些子层堆叠而成?其中的 Encoder-Decoder 注意力(交叉注意力)起什么作用?

中级场景题算法工程师EncoderDecoder交叉注意力Transformer

题目

考察点:Encoder 每层 = 多头自注意力 + 前馈 + 残差/层归一;Decoder 多一层对 Encoder 输出的交叉注意力;理解交叉注意力如何把源语言信息注入解码。属结构分析题。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Encoder 层(堆叠 N 次)

Decoder 层(堆叠 N 次)

交叉注意力的作用

要点

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题