参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
原理
- 读数据库 binlog/WAL,解析 insert/update/delete 事件,按事务顺序发送到 Kafka/下游;记录 binlog 位点。
- 全量+增量:先快照加锁/一致性位点,再从该位点追增量,避免中间变更丢失。
不丢
- 位点持久化/提交策略;下游处理成功后再提交 offset;失败重试/死信;监控延迟和位点。
不重/幂等
- 至少一次语义下可能重复,下游用主键/事件 ID 幂等 upsert;或事务性 outbox/两阶段。
- 精确一次需要端到端事务/幂等 sink,不能只靠 CDC 工具; schema 变更/DDL 要处理。