I IT 面试题库
HBase 的 Region 分裂(Split)与合并(Compaction)机制是怎样的?对线上读写有什么影响?
高级简答题数据库工程师后端开发工程师大数据开发工程师HBaseRegion SplitCompactionmajor compaction性能
题目
高级:上一题提到 Split/Compaction 是后台核心机制。请深入讲清触发条件、两类 Compaction 的区别,以及它们对线上性能/一致性的实际影响与应对。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 25 天前更新
要点:
- Region Split:当某个 Region 的大小超过
hbase.hregion.max.filesize(默认约 10GB)或按策略(如 IncreasingToUpperBound)增长时,RegionServer 在 Region 内按 RowKey 中点把它一分为二,父 Region 下线、两个子 Region 上线并负载均衡。Split 瞬间会有短暂 Region 不可用与元数据更新开销,频繁 Split 会造成抖动;预分区(建表指定 Split Keys)可在大数据量导入前铺好 Region,避免导入期疯狂分裂。
- Compaction:HFile 只增不改,需后台合并。① Minor Compaction:合并若干相邻小 HFile,轻量、频繁,减少文件数;② Major Compaction:把一个 Region 下某列族的所有 HFile 合并成一个,清理被删除/过期版本(墓碑真正生效)、减少读放大,但 IO 与磁盘压力大,默认约 7 天一次或手动触发。
- 线上影响与应对:Compaction 会占用大量磁盘 IO/带宽、抬升读延迟(读放大),Major 还可能让 BlockCache 短暂失效;应在业务低峰错峰触发、限流(Compaction 吞吐量参数)、控制 Major 频率;读路径的 BloomFilter + 合理 BlockCache 能抵消部分读放大。
题目与答案就在本页;收藏、批注和错题重练在应用内