参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 28 天前更新
断点
- 批任务按分区/文件/主键范围记录完成位点,失败从最后成功位点续跑;文件用 manifest/校验和,流用 offset/位点。
- 位点与数据提交要原子/可恢复;避免先提交位点后写数据(会丢)。
幂等
- 目标表用主键/唯一键 upsert,或按批次号/事件 ID 去重;分区覆盖写(按日期分区)便于重跑。
- 重复不产生副作用;更新用版本/时间戳防旧数据覆盖新数据。
运维
- 可重入、可回滚;监控延迟/失败/重复率;重跑脚本和审计; schema 变更兼容。