考察 Shuffle 机制演进与调优抓手。
Shuffle 发生在宽依赖处:上游各分区的数据按 key 重新分组、跨网络分发到下游各分区。它必然伴随磁盘落盘 + 网络传输 + 序列化,还会切出新的 stage 边界,是 Spark 作业最贵的环节。
spark.shuffle.sort.bypassMergeThreshold(默认 200)且不需要 map 端聚合时,免排序直接合并写,省排序开销。reduceByKey(map 端预聚合)优于 groupByKey;小表 broadcast join 直接消掉大表 shuffle;spark.shuffle.file.buffer(写缓冲)、spark.reducer.maxSizeInFlight(拉取缓冲)、重试与超时;spill(内存溢写磁盘)大说明内存不足,优先加 executor 内存或核数;定位口诀:先看 stage 的 shuffle read 量是否异常放大(倾斜),再看 spill 与 GC,最后才调分区数(spark.sql.shuffle.partitions,AQE 开启后可自适应)。
题目与答案就在本页;收藏、批注和错题重练在应用内