I IT 面试题库
MapReduce 为什么慢?它的多次落盘与 Shuffle 网络开销问题,后来被什么方案优化?
中级简答题大数据开发工程师后端开发工程师MapReduce性能瓶颈ShuffleSpark优化
题目
剖析 MapReduce 的性能瓶颈,并说明 Spark 等后续框架如何针对性优化,自然引出内存计算。
参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 48 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 慢的根因:① 中间结果多次落盘——Map 输出写本地磁盘、Reduce 拉取后再落盘,磁盘 IO 重;② Shuffle 阶段需跨节点拉取相同 key 的数据,网络传输与排序开销大;③ 每个作业启停 JVM、任务调度延迟高。
- 优化方向:把中间数据放进内存而非落盘、用 DAG 把多个计算阶段流水线化、复用执行进程。
- 后续方案:Spark 用内存计算 + RDD 血缘/DAG 调度替代多次落盘,迭代/交互式任务比 MapReduce 快一个数量级;但 MapReduce 简单稳健,仍适合超大规模一次性批处理。
题目与答案就在本页;收藏、批注和错题重练在应用内