IT 面试题库

故障排查:线上 Kafka 消费组频繁触发 Rebalance,消费出现明显抖动和重复消费,如何定位原因并减少不必要的重平衡?

高级故障排查题后端架构师系统运维工程师Java后端工程师KafkaRebalance消费组故障排查

题目

考察点:Rebalance 的代价、触发原因与生产优化手段。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

先讲清 Rebalance 的代价

Rebalance 期间分区被重新分配:所有消费者先停止消费(类似 Stop-The-World),撤销旧分区、分配新分区、各自 seek 到提交位点,然后才恢复。因此带来三件事:

  1. 消费短暂停顿,吞吐出现毛刺;
  2. 消费延迟抖动,积压监控上能看到尖峰;
  3. 重复消费——「业务处理成功」与「offset 提交成功」之间存在窗口,位点回落后消息会被再投一次。

常见触发原因(按排查顺序)

  1. 消费者实例频繁上下线:发布时一次性重启全部实例、Pod 被 OOMKill、进程反复重启。
  2. 消费者被判定为假死:业务处理太慢或一次 poll 拉太多,两次 poll 间隔超过 max.poll.interval.ms,被协调者踢出组;处理完又重新入组,形成反复 rebalance。
  3. 心跳超时:session.timeout.ms / heartbeat.interval.ms 设置不合理,或长 GC、网络抖动导致心跳丢失。
  4. 订阅关系变化:动态订阅新 Topic、正则订阅匹配结果发生变化。
  5. 分区数或分配策略变化:扩容分区、切换分配策略也会触发一次重分配。

如何减少影响

面试要点:不要只答「消费者重新分配分区」,要讲清停顿、重复两个后果,以及参数 + 发布策略 + 幂等三层优化。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题