IT 面试题库

Self-Attention 的计算过程是怎样的?缩放点积注意力与多头注意力分别解决什么?

初级简答题算法工程师机器学习工程师BERTSelf-Attention多头注意力Transformer注意力机制

题目

推导注意力公式,并解释缩放因子与多头的意义。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 19 天前更新

要点:

小结:Self-Attention 让每个词「按需」聚合全句上下文;多头则从多个表示子空间并行捕捉不同关系。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题