I IT 面试题库
说一下 HBase 的写入路径和读取路径(WAL、MemStore、HFile、BlockCache)。
中级简答题数据库工程师后端开发工程师大数据开发工程师HBase写入路径读取路径WALHFile
题目
回到原理:前面排查涉及 MemStore/Compaction/BlockCache,请完整串起一次写入和一次读取在 HBase 内部经过了哪些组件。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 25 天前更新
要点:
- 写入路径:Client 先根据 RowKey 定位 Region 所在 RegionServer → 数据写入WAL(HLog,预写日志,保证宕机可恢复)→ 写入内存中的 MemStore(按列族隔离,有序)后返回客户端;MemStore 达到阈值被刷写为 HDFS 上的 HFile(有序的列式存储文件)。注意 HBase 把随机写转成「WAL 顺序写 + 内存写」,HFile 才是落盘实体。
- 读取路径:Client 定位 Region → 先查 BlockCache(读缓存,缓存热点 HFile Block),未命中再查 MemStore(最新未刷写数据),最后读 HFile(借助 BloomFilter 与 RowKey 索引跳过无关 Block)。三者结果合并(同 Key 取最大时间戳)返回,保证读到最新一致值。
- 关键机制:HFile 不可变,更新/删除以追加新版本/墓碑标记实现;后台 Compaction 合并小 HFile、清理过期版本与墓碑;Split 在 Region 过大时按中间 RowKey 一分为二,实现水平扩展。
题目与答案就在本页;收藏、批注和错题重练在应用内