I IT 面试题库
Kafka Connect 的架构是什么?Source/Sink Connector 怎么保证伸缩和容错?
高级简答题数据采集工程师Kafka ConnectSourceSinkRebalance
题目
考察 Kafka Connect 集群、任务分配和 offset。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
架构
- Worker 进程组成集群,Connector 描述数据源/目标,Task 是并行执行单元;Converter 处理序列化,SMT 做轻量转换。
- Source 把外部数据写入 Kafka;Sink 从 Kafka 读出写外部系统。
伸缩/容错
- 增加 Worker 触发 rebalance,Task 重新分配;Connector/Task 配置决定最大并行度。
- Offset 存在 Kafka 内部主题;Source 记录源位点,Sink 记录消费位点;失败重试/死信队列。
- 单任务失败会重启/转移;要监控 lag、task 状态、重复/丢失,Sink 需幂等。
题目与答案就在本页;收藏、批注和错题重练在应用内