IT 面试题库

Hive 里一张分区表 join 时数据倾斜导致个别 reducer 跑几个小时,你有哪些处理手段?内外部表(managed/external)的区别是什么?

中级简答题数据仓库工程师大数据开发工程师数据分析师Hive数据倾斜分区表外部表

题目

考察 Hive 数据倾斜的成因与解法(map join/ skew join / 两阶段聚合)、分区裁剪以及内外部表语义差异。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 49 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

数据倾斜的成因

某个 join key(如 null、默认值、超大 VUser)占了绝大多数行,shuffle 后该 key 的所有数据进同一个 reducer → 长尾任务拖死整个 job。

处理手段(按优先级)

  1. Map Join(广播小表):hive.auto.convert.join=true,小表直接装进内存,无 shuffle,天然消除倾斜——能广播就广播;
  2. 空值/异常 key 单独处理:null 值 join 前过滤掉(若不需要),或给 null 加随机数打散(null 之间本就 join 不上,打散不影响结果);
  3. Skew Join:set hive.optimize.skewjoin=true; set hive.skewjoin.key=100000; 超过阈值的 key 拆出来走 map join,其余正常走 reduce;
  4. 两阶段聚合:group by 倾斜时先按 key + rand() 局部聚合,再按 key 全局聚合(对付聚合类倾斜,join 类不适用);
  5. 大表 join 大表且少数 key 超大:把超大 key 的行单独拎出来做 map join,结果 union 回去。

配套必做

内部表 vs 外部表

| | Managed(内部) | External(外部) |

|---|---|---|

| 数据生命周期 | DROP 表 → 元数据+数据都删 | DROP 表 → 只删元数据,HDFS 数据保留 |

| 场景 | Hive 全权管理的中间结果 | 多引擎共享的原始层/ODS 数据 |

规范:生产 ODS 层一律外部表(防误删原始数据);中间临时层用内部表,用完即弃。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题