面试常问:Kafka 宣称支持 Exactly-Once。请结合幂等生产者、事务、以及 isolation.level=read_committed 解释端到端 EOS 的实现原理,并说明其代价与适用边界。
1. 三种投递语义
acks=0、先提交偏移)。acks=all+重试,处理后提交偏移)。2. EOS 的两大支柱
enable.idempotence=true 后,Broker 为每个生产者分配 PID,每条消息带 序列号;Broker 按 (PID, 分区) 去重,重试不会产生重复。transactional.id,通过 Transaction Coordinator 两阶段提交,把「消费→处理→生产→提交偏移」封装为原子操作。失败则整体中止,下游 isolation.level=read_committed 的消费者只会读到已提交数据,被中止/进行中的事务被过滤(通过控制消息 Commit/Abort Marker)。3. 端到端落地(consume-transform-produce)
producer.initTransactions();
while (true) {
producer.beginTransaction();
// 处理并 send 输出
producer.sendOffsetsToTransaction(currentOffsets); // 偏移随事务一起提交
producer.commitTransaction();
}
Kafka Streams 只需 processing.guarantee=exactly_once_v2 即可获得端到端 EOS。
4. 代价与边界
transaction.timeout.ms)需合理配置,避免僵尸事务。题目与答案就在本页;收藏、批注和错题重练在应用内