IT 面试题库

MapReduce 的 map→shuffle→reduce 过程是怎样的?

中级简答题大数据开发工程师大数据工程师MapReduceshufflemapreduce

题目

描述一次 MapReduce 作业的数据流与关键阶段。

参考答案

内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 72 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Map:各 split 由 map 任务读入,输出 <key,value> 中间结果。

Shuffle(最核心):框架按 key 分区、排序、溢写合并,并通过网络把同 key 的数据拉到对应 reduce 节点(combiner 可在 map 端预聚合减负)。

Reduce:对同一 key 的 value 分组后调用 reduce 汇总输出。

理解 shuffle 的磁盘/网络开销,是调优(合并、压缩、合理分区数)的关键。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题