I IT 面试题库
DataX 如何做增量同步?全量+增量方案怎么设计才不丢数据?
高级开放讨论题数据仓库工程师大数据开发工程师DataX增量同步CDC幂等
题目
考察点:增量识别方式、幂等写、离线与实时链路的边界。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 增量识别三种:① 时间戳列(
where update_time > 上次水位)——最常用,要求业务更新必刷 update_time;② 自增 ID——只适合只增不改的数据;③ Binlog(Canal/Flink CDC)——能感知删除,是实时链路的基础。
- 防丢防重设计:① 水位存调度系统(如 DolphinScheduler 补数参数)或目标表元数据表,先写水位后跑任务成功再提交(或靠幂等重跑);② 取数窗口留重叠(如取
> T-10min)+ 幂等写(Hive 按分区 INSERT OVERWRITE / 目标库 ON DUPLICATE KEY),重叠窗口靠幂等去重;③ 每天跑一次「昨日前天对比校验」行数/主键 diff 告警。
- 边界:DataX 是批式工具,删除操作感知不到(时间戳方案)——需要感知删除时上 Binlog CDC(Flink CDC/SeaTunnel),或定期对账修复。
题目与答案就在本页;收藏、批注和错题重练在应用内