请对比 BGD、SGD、Mini-batch GD 三者在每次更新使用的样本量、收敛稳定性、速度与内存占用上的差异,并说明实践中的默认选择。
设损失 $J(\theta)$,梯度 $g=\nabla_\theta J$。
1. 批量梯度下降(BGD)
2. 随机梯度下降(SGD)
3. 小批量梯度下降(Mini-batch GD)
对比表
| 方法 | 单步样本 | 稳定性 | 速度/内存 |
|---|---|---|---|
| BGD | m | 高 | 慢/高 |
| SGD | 1 | 低 | 快/低 |
| Mini-batch | b | 中 | 快/中 |
实践中几乎都用 Mini-batch,并配合学习率衰减、Momentum/Adam 等优化器。
题目与答案就在本页;收藏、批注和错题重练在应用内