IT 面试题库

常用激活函数(Sigmoid/ReLU/Softmax)各自作用与缺点?

中级简答题深度学习工程师算法工程师激活函数ReLUSoftmax

题目

对比三种激活函数的用途、优缺点与适用位置。

参考答案

内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 72 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Sigmoid:把输出压到 (0,1),适合二分类输出层;缺点是易饱和导致梯度消失、输出非零中心。

ReLU:f(x)=max(0,x),计算简单、缓解梯度消失、加速收敛;缺点是“神经元死亡”(负区恒为 0),衍生 LeakyReLU/PReLU 改进。

Softmax:把多类 logits 转成和为 1 的概率分布,用于多分类输出层。隐藏层现代多用 ReLU 族,输出层按任务选 Sigmoid/Softmax。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题