考察 Hive 数据倾斜的成因与解法(map join/ skew join / 两阶段聚合)、分区裁剪以及内外部表语义差异。
某个 join key(如 null、默认值、超大 VUser)占了绝大多数行,shuffle 后该 key 的所有数据进同一个 reducer → 长尾任务拖死整个 job。
hive.auto.convert.join=true,小表直接装进内存,无 shuffle,天然消除倾斜——能广播就广播;set hive.optimize.skewjoin=true; set hive.skewjoin.key=100000; 超过阈值的 key 拆出来走 map join,其余正常走 reduce;key + rand() 局部聚合,再按 key 全局聚合(对付聚合类倾斜,join 类不适用);dt='2026-10-01'),否则全表扫;hive.optimize.ppd=true;hive.cbo.enable=true)让 join 顺序自动优化。| | Managed(内部) | External(外部) |
|---|---|---|
| 数据生命周期 | DROP 表 → 元数据+数据都删 | DROP 表 → 只删元数据,HDFS 数据保留 |
| 场景 | Hive 全权管理的中间结果 | 多引擎共享的原始层/ODS 数据 |
规范:生产 ODS 层一律外部表(防误删原始数据);中间临时层用内部表,用完即弃。
题目与答案就在本页;收藏、批注和错题重练在应用内