IT 面试题库

Kafka 中消息在什么情况下会丢失或重复?分别如何规避?

中级简答题大数据工程师大数据开发工程师实时计算工程师Kafka消息丢失消息重复可靠性

题目

请分别从生产端、服务端、消费端三个环节,分析消息丢失与重复的可能原因,并给出对应的配置/编码对策。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 75 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

一、生产端

- 对策:acks=all + 设置 min.insync.replicas>=2,确保写入 ISR 才返回。

- 对策:开启 enable.idempotence=true(PID+序列号去重)。

二、服务端(Broker)

- 对策:提高副本因子(replication.factor>=3)、min.insync.replicas=2、unclean.leader.election.enable=false。

三、消费端

- 对策:关闭自动提交,采用先处理、后手动提交(处理成功才 commitSync/commitAsync)。

- 对策:业务做幂等(数据库唯一索引/去重表/状态机),必要时上 EOS 事务。

总结口诀:生产 acks=all+幂等,消费「处理后提交」+业务幂等。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题