I IT 面试题库
DataX 的架构与执行流程是什么?它和 Sqoop 相比设计差异在哪?
中级简答题数据采集工程师大数据开发工程师DataX数据同步离线数仓
题目
考察点:Framework+Plugin 架构、Job/Task/TaskGroup 三层调度、单进程多线程模型、与 Sqoop 的 MapReduce 模型对比。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 架构:
Framework(数据传输框架)+ Reader/Writer Plugin(读写插件)——新增数据源只需实现插件,框架负责速率控制、断点、监控。覆盖 MySQL/Oracle/HDFS/Hive/HBase/ClickHouse/ES 等数十种。
- 三层调度:Job(一个数据同步作业)按表/分片切分为多个 Task(单线程读写对),Task 组成 TaskGroup(默认单组并发 5),由单进程内的调度器执行——DataX 是单进程多线程模型,无外部依赖,部署即用。
- vs Sqoop:Sqoop 把同步翻译成 MapReduce/Spark 任务跑在 YARN 上(分布式、吃集群资源、适合超大吞吐与定时批);DataX 单进程(部署简单、易限速、适合中小数据量与异构源),大数据量靠拆分多 Job 并行。 Sqoop 已 retired(2021),新选型多在 DataX 与 SeaTunnel/Flink CDC 之间。
- 速率控制:channel 并发 × record 限速(bps/tps)双维度,避免把源库打挂。
题目与答案就在本页;收藏、批注和错题重练在应用内