IT 面试题库

缩放点积注意力(Scaled Dot-Product Attention)里为什么要除以 √d_k?不缩放会有什么问题?

中级场景题算法工程师注意力缩放点积Transformer大模型

题目

考察点:点积的方差随维度增长而放大,导致 softmax 进入梯度极小的饱和区;√d_k 把方差拉回 1 附近。属原理探究题。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 79 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

为什么要缩放

不缩放的后果

补充

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题