I IT 面试题库
Sqoop 的工作原理是什么?import 时 map 数与 --split-by 怎么影响性能?
中级简答题大数据开发工程师数据采集工程师SqoopMapReduce数据同步split-by
题目
考察点:JDBC 元数据、MapReduce 作业生成、split 切片与边界查询、并行度与源库压力的权衡。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 原理:Sqoop 只生成并提交 MapReduce 作业——先通过 JDBC 读源库元数据(表结构、min/max of split 列),生成 split 切片,每个 Map task 用 JDBC 并行拉取一段数据(
WHERE split_col >= x AND < y)直接写到 HDFS/Hive。没有 Reduce(纯 map 作业)。
- map 数与 --split-by:
-m N 决定并行 map 数;split 列选分布均匀且有索引的列(主键最常见),数据倾斜时切片不均→个别 map 慢拖死整体;无合适 split 列时 -m 1 单线程(慢)或用 --boundary-query 自定义边界。无主键表用 --split-by 显式指定。
- 源库压力:N 个 map = N 个并发 JDBC 连接全表段扫描,生产错峰跑、从备库读、
--direct(MySQL 用 mysqldump 加速)注意兼容性。
- 现状:Sqoop 2021 年退役,新项目选 DataX/SeaTunnel/Flink CDC,但存量调度与面试仍常见。
题目与答案就在本页;收藏、批注和错题重练在应用内