IT 面试题库

Hive 把 SQL 转为 MapReduce/Tez 的原理?分区与分桶作用?

中级简答题大数据开发工程师数据仓库工程师HiveSQL分区分桶

题目

说明 Hive 的 SQL-on-Hadoop 机制与表设计优化。

参考答案

内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 72 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

执行原理:Hive 用元数据(Metastore)描述表结构,把 HiveQL 经解析/优化生成执行计划,早期翻译为 MapReduce、现多跑在 Tez/Spark 引擎上。

分区(Partition):按字段(如日期)把数据物理分目录,查询加分区条件可大幅裁剪扫描。

分桶(Bucket):按哈希把数据分到固定桶文件,利于采样与 join 优化。二者是 Hive 海量表查询提速的核心手段。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题