IT 面试题库

HBase 的 RowKey 设计为什么要防「热点」?列出至少四种常见热点成因与对应的打散策略,并说明盐析(Salting)的代价。

高级简答题大数据开发工程师后端开发工程师数据仓库工程师HBaseRowKey设计热点预分区

题目

考察 HBase RowKey 设计:LSM 顺序写模型下的热点问题、打散手段与各自的查询代价,是大数据面试的必考设计题。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 49 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

为什么会热点

HBase 按_ROWKEY 字典序连续存储,Region 是按 rowkey 范围切的。若 rowkey 单调递增(时间戳、自增 ID),写入永远落在同一个 Region(的同一个 RegionServer)上——整个集群只有一台机器在写,其他节点闲着;读取同理。这就是热点。

常见成因与打散策略

  1. 单调递增/递减键 → 加盐(Salting):rowkey 前加一位随机/哈希前缀(如 hash(id)%16 两位十六进制),写压力摊到 16 个 Region;
  2. 大客户端/大用户集中写 → 反转键:把时间戳或手机号反转(reverse(ts)),让原本相同的后缀变成不同的前缀;
  3. 组合键里高基数维度排前面 → 重排列:把分散性最好的维度放最前;
  4. 预分区不足 → 预建 Region:create 't', SPLITS => ['1','2',...'] 按 rowkey 分布提前切好,避免建表后分裂倾斜。

盐析的代价(必答)

盐值打散了写,但破坏了字典序与 rowkey 的语义连续性:

设计口诀

「长度一致(建议 ≤ 32 字节且定长)、打散写、保留查」:先列出业务的主要查询模式(精确 Get / 范围 Scan),倒推 rowkey 组成,再决定用加盐、反转还是哈希——没有通用最优解,只有匹配查询模式的设计。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题