IT 面试题库

Flink 如何保证端到端 exactly-once?Checkpoint 与两阶段提交(2PC)分别是怎么配合的?

高级简答题大数据开发工程师大数据架构师Flinkexactly-onceCheckpoint

题目

流处理对数据不重不漏要求极高,Flink 的 exactly-once 是大数据岗位的高级考点,需要串起检查点、可重放源与事务性 Sink。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

核心三要素

  1. 可重放的 Source:如 Kafka,offset 能保存与回放;
  2. Checkpoint(检查点):JobManager 周期性向所有算子注入对齐的 barrier,各算子把状态快照写入持久化状态后端(如 RocksDB + HDFS),形成全局一致快照;
  3. 事务性 Sink:用 TwoPhaseCommitSinkFunction 实现两阶段提交。

Checkpoint 与 2PC 的配合

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题