I IT 面试题库
设计实时数仓:Kafka + Flink 流式 ETL 写入 OLAP,如何保证 Exactly-Once 与乱序/迟到数据处理?
高级系统设计题大数据开发工程师后端开发工程师实时数仓FlinkExactlyOnceWatermark
题目
高级系统设计题:说明端到端精确一次、Watermark、侧输出等机制。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 48 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 端到端 Exactly-Once:Kafka(幂等/事务生产者)→ Flink Checkpoint + 两阶段提交(TwoPhaseCommit Sink),把“消费位移提交”与“写入下游”纳入同一事务边界,失败回滚重放,保证不重不漏。
- 乱序/迟到处理:用 Event Time + Watermark 界定处理进度、容忍一定乱序;迟到数据通过 allowedLateness + 侧输出(sideOutput) 或回补窗口兜底,不轻易丢弃。
- 写入 OLAP:Sink 选用支持事务/幂等写入的引擎(如写入带唯一键的 OLAP 或 Kafka),配合 Checkpoint barrier 对齐各算子状态。
- 关键点:RocksDB 状态后端持久化、Checkpoint 间隔与端到端延迟的权衡、以及反压(backpressure)监控。
题目与答案就在本页;收藏、批注和错题重练在应用内