IT 面试题库

Flink 的 Watermark 是怎么处理乱序数据的?event time 与 processing time 的取舍是什么?TwoPhaseCommitSink 如何实现 Exactly-Once?

高级简答题实时计算工程师大数据开发工程师后端开发工程师FlinkWatermark乱序Exactly-Once

题目

考察 Flink 时间语义、Watermark 乱序容忍机制与两阶段提交 Sink 的 Exactly-Once 端到端保证,是实时计算面试的核心题。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 49 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

Watermark 机制

两种时间语义取舍

| | Event Time | Processing Time |

|---|---|---|

| 正确性 | 结果与到达顺序无关,可重放/可回溯 | 受延迟、乱序影响,结果不稳定 |

| 延迟 | 需等 watermark,可能有窗口延迟 | 最低 |

| 适用 | 计费/统计/审计等要求数字可对账的场景 | 监控告警等「快比准重要」的场景 |

Exactly-Once 端到端(TwoPhaseCommitSink)

以 Kafka Sink 为例:

  1. 预提交(pre-commit):checkpoint 触发时,把本阶段数据写入 Kafka 事务中(此时对外不可见),并把事务句柄存入 checkpoint state;
  2. 提交(commit):checkpoint 完成后,事务正式 commit,数据对消费者可见;
  3. 故障恢复:从 checkpoint 恢复时,未提交的事务abort 重放,已提交的不重复;
常见追问:watermark 一直不涨怎么办?——优先查某个空闲/落后的 partition(用 withIdleness),其次检查是否某条数据时间戳异常巨大。
练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题