I IT 面试题库
HDFS 的一次文件读写流程是怎样的?NameNode 如何做高可用(HA)与故障切换?
中级简答题大数据开发工程师后端开发工程师HDFS读写流程NameNode HA
题目
说明客户端写块/读块的流程,以及 NameNode 单点如何通过 HA(Active/Standby + 共享编辑日志)消除。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 48 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 写流程:客户端向 NameNode 申请写、拿到可写的 DataNode 管线(pipeline);数据按块切分,沿管线流式写入多个副本,全部确认后 NameNode 记录元数据。
- 读流程:客户端向 NameNode 取块位置(按就近原则返回副本列表),直接到 DataNode 读取,NameNode 不参与数据传输。
- 高可用(HA):NameNode 单点是隐患,HA 部署 Active/Standby 两个节点,二者通过共享存储(如 JournalNode/QJM)同步编辑日志,ZKFC 基于 ZooKeeper 做健康检测与自动故障切换,避免脑裂。
- 容错:DataNode 宕机由副本机制补副本;NameNode 元数据有 FSImage + EditLog 持久化与 Checkpoint 机制。
题目与答案就在本页;收藏、批注和错题重练在应用内