I IT 面试题库
Flink 如何保证端到端 exactly-once?Checkpoint 与两阶段提交(2PC)分别是怎么配合的?
高级简答题大数据开发工程师大数据架构师Flinkexactly-onceCheckpoint
题目
流处理对数据不重不漏要求极高,Flink 的 exactly-once 是大数据岗位的高级考点,需要串起检查点、可重放源与事务性 Sink。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
核心三要素
- 可重放的 Source:如 Kafka,offset 能保存与回放;
- Checkpoint(检查点):JobManager 周期性向所有算子注入对齐的 barrier,各算子把状态快照写入持久化状态后端(如 RocksDB + HDFS),形成全局一致快照;
- 事务性 Sink:用
TwoPhaseCommitSinkFunction 实现两阶段提交。
Checkpoint 与 2PC 的配合
- 预提交(pre-commit):当 Checkpoint 的 barrier 流过 Sink,Sink 把这批数据写入外部系统但先不提交事务(处于预提交状态),并向 JobManager 确认;
- 提交(commit):JobManager 收到所有算子 Checkpoint 完成的完成通知后,通知 Sink 真正提交事务;
- 失败回滚:若 Checkpoint 失败或 Sink 提交前崩溃,外部系统的预提交事务超时回滚,重启从最近 Checkpoint 的 offset 重放——从而保证端到端 exactly-once(不重不漏)。
题目与答案就在本页;收藏、批注和错题重练在应用内