对比三种激活函数的用途、优缺点与适用位置。
Sigmoid:把输出压到 (0,1),适合二分类输出层;缺点是易饱和导致梯度消失、输出非零中心。
ReLU:f(x)=max(0,x),计算简单、缓解梯度消失、加速收敛;缺点是“神经元死亡”(负区恒为 0),衍生 LeakyReLU/PReLU 改进。
Softmax:把多类 logits 转成和为 1 的概率分布,用于多分类输出层。隐藏层现代多用 ReLU 族,输出层按任务选 Sigmoid/Softmax。
题目与答案就在本页;收藏、批注和错题重练在应用内