描述一次 MapReduce 作业的数据流与关键阶段。
Map:各 split 由 map 任务读入,输出 <key,value> 中间结果。
Shuffle(最核心):框架按 key 分区、排序、溢写合并,并通过网络把同 key 的数据拉到对应 reduce 节点(combiner 可在 map 端预聚合减负)。
Reduce:对同一 key 的 value 分组后调用 reduce 汇总输出。
理解 shuffle 的磁盘/网络开销,是调优(合并、压缩、合理分区数)的关键。
题目与答案就在本页;收藏、批注和错题重练在应用内