I IT 面试题库
Sqoop 增量导入的 --incremental append 与 lastmodified 模式有什么区别?各有什么坑?
中级简答题大数据开发工程师Sqoop增量导入lastmodifiedmerge-key
题目
考察点:增量模式语义、check-column 水位、append 与 merge-keys 的适用场景。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- append 模式:针对只增不改的数据(日志、订单流水),check-column 用自增 ID,每次只导
id > last-value 的新行,追加到目标目录。坑:last-value 要自己记录并回填(脚本维护);源库删数据感知不到。
- lastmodified 模式:针对会更新的数据,check-column 用 update_time,导出
>= last-value 的行。坑:① 老数据更新后旧文件里的行没删,HDFS 上会有重复——需配 --merge-key(主键)在合并 job 里去重(老记录+新记录按 key 取新);② 时间边界取 > 还是 >= 要与水位管理一致,避免边界行丢/重。
- 通用建议:水位持久化在调度系统;定时对账(count/sum 校验);要求更强一致性时改用 Binlog CDC 方案,Sqoop 只做历史全量初始化。
题目与答案就在本页;收藏、批注和错题重练在应用内