IT 面试题库

批量梯度下降、随机梯度下降、小批量梯度下降有什么区别?

中级简答题算法工程师机器学习工程师深度学习工程师机器学习梯度下降优化

题目

请对比 BGD、SGD、Mini-batch GD 三者在每次更新使用的样本量、收敛稳定性、速度与内存占用上的差异,并说明实践中的默认选择。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 75 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

设损失 $J(\theta)$,梯度 $g=\nabla_\theta J$。

1. 批量梯度下降(BGD)

2. 随机梯度下降(SGD)

3. 小批量梯度下降(Mini-batch GD)

对比表

| 方法 | 单步样本 | 稳定性 | 速度/内存 |

|---|---|---|---|

| BGD | m | 高 | 慢/高 |

| SGD | 1 | 低 | 快/低 |

| Mini-batch | b | 中 | 快/中 |

实践中几乎都用 Mini-batch,并配合学习率衰减、Momentum/Adam 等优化器。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题