IT 面试题库

Spark 的 Shuffle 是怎么工作的?从 Hash Shuffle 到 Sort Shuffle 解决了什么问题?有哪些关键调优手段?

高级简答题大数据开发工程师实时计算工程师数据仓库工程师SparkShuffle数据倾斜调优

题目

考察 Shuffle 机制演进与调优抓手。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 51 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

结论

Shuffle 发生在宽依赖处:上游各分区的数据按 key 重新分组、跨网络分发到下游各分区。它必然伴随磁盘落盘 + 网络传输 + 序列化,还会切出新的 stage 边界,是 Spark 作业最贵的环节。

机制演进

调优抓手

  1. 能不 shuffle 就不 shuffle:reduceByKey(map 端预聚合)优于 groupByKey;小表 broadcast join 直接消掉大表 shuffle;
  2. 数据倾斜:开启 AQE 自动拆分倾斜分区;两阶段聚合(key 加随机前缀局部聚合再全局聚合);热点 key 单独广播处理;
  3. 资源参数:spark.shuffle.file.buffer(写缓冲)、spark.reducer.maxSizeInFlight(拉取缓冲)、重试与超时;spill(内存溢写磁盘)大说明内存不足,优先加 executor 内存或核数;
  4. 大 shuffle 作业给本地盘而非网络盘,shuffle read/write 量与 spill 在 Web UI 的 stage 页直接可见。
定位口诀:先看 stage 的 shuffle read 量是否异常放大(倾斜),再看 spill 与 GC,最后才调分区数(spark.sql.shuffle.partitions,AQE 开启后可自适应)。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题