I IT 面试题库
ZooKeeper 在 Kafka 中承担哪些职责?Kafka 4.0 为什么只支持 KRaft 模式,这对运维有什么影响?
中级简答题Java后端工程师后端架构师系统运维工程师KafkaZooKeeperKRaft元数据
题目
考察点:Kafka 元数据管理演进,KRaft 与 ZooKeeper 的架构差异。
参考答案
内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
ZooKeeper 提供的能力
早期 Kafka 把元数据管理交给 ZooKeeper,主要做四件事:
- Broker 注册:每个 Broker 启动时在
/brokers/ids 下创建自己的节点,写入 IP、端口等信息,ZooKeeper 借此感知 Broker 上线下线。
- Topic 与分区元数据:某个 Topic 有哪些 Partition、Partition 分布在哪些 Broker、谁是 Leader,这些映射都由 ZooKeeper 维护,例如
/brokers/topics/my-topic/partitions/0。
- 负载均衡:把同一 Topic 的不同 Partition 尽量分散到不同 Broker;消费时结合 Partition 数量与 Consumer 数量做动态分配。
- 协调职责:Controller 选举、配置存储等也依赖它。
为什么要摆脱 ZooKeeper
- 多了一个需要独立部署、独立运维、独立调优的组件,元数据还要跨系统同步,故障域变大。
- ZooKeeper 的元数据规模有上限,Partition 数量很大(十万级)时 Controller 的元数据同步会成为瓶颈。
- Controller 故障切换依赖 ZooKeeper 选举,切换时间偏长,期间元数据操作受阻。
KRaft 的变化
- Kafka 2.8 引入基于 Raft 协议 的 KRaft 模式(当时仅 Early Access),3.3 起对新集群标记为生产可用,Kafka 4.0 起彻底移除 ZooKeeper 模式,只支持 KRaft。
- KRaft 把元数据存进 Kafka 自己的内部 Topic,用 Raft 在 Controller 之间复制,Controller 由 Quorum 选举产生,不再需要外部协调服务。元数据变更不再跨系统同步,故障切换更快,也能支撑更大规模的分区。
运维影响
- 集群少一个组件,部署与监控更简单。
- 但老集群从 ZooKeeper 模式迁移到 KRaft 不能简单改配置重启,必须按官方迁移流程执行;新集群直接按 KRaft 部署即可。
题目与答案就在本页;收藏、批注和错题重练在应用内