IT面试题库
大数据与数据工程面试题
大数据与数据工程方向的 85 道 IT 面试题,覆盖高频考点、参考答案与错题复习。
高频题目
Hive 与关系型数据库(MySQL)的主要区别是什么?Hive 适合什么场景?
中级 · 2 次浏览
大数据【诞生】为什么单机数据库扛不住之后,不是「买更大的机器」,而是出现了 Hadoop?
初级 · 1 次浏览
HDFS 小文件问题是怎么产生的?为什么它会拖垮 NameNode 和计算层?有哪些治理手段?
中级 · 1 次浏览
什么场景需要引入大数据技术栈?它和单机处理本质区别在哪?
初级 · 1 次浏览
一个实时指标需求,该用 Spark 还是 Flink?请从批/流模型、时延、状态管理说明选型。
中级 · 1 次浏览
大数据【本质】MapReduce → Spark → Flink 的演化分别在还什么债?为什么 Spark 能一统批处理?
初级 · 新题
大数据【本质】业务库明明有数据,为什么还要费劲建「数据仓库」?数仓建模到底在加工什么?
初级 · 新题
大数据【边界】「我们公司数据很大」就该上 Hadoop 全家桶吗?大数据架构的成本账单和轻量替代方案有哪些?
初级 · 新题
Spark 的 RDD 与 DataFrame / Dataset 有什么区别?为什么 DataFrame 通常执行更高效?
中级 · 新题
Flink 如何保证端到端 exactly-once?Checkpoint 与两阶段提交(2PC)分别是怎么配合的?
高级 · 新题
Kafka 为什么要做顺序写(磁盘顺序 I/O)?消费者又能保证怎样的顺序性?
初级 · 新题
Kafka 消费者组的 Rebalance(重平衡)是什么?会带来什么问题,如何优化?
中级 · 新题
Kafka 如何实现精确一次语义(EOS)?在流式处理中怎样落地?
高级 · 新题
分区数与消费者组的关系是什么?并行度如何设计?
中级 · 新题
Kafka 中消息在什么情况下会丢失或重复?分别如何规避?
中级 · 新题
Hadoop 生态核心组件(HDFS/MapReduce/YARN)各自职责?
初级 · 新题
HDFS 的架构(NameNode/DataNode)与副本机制、容错原理?
中级 · 新题
MapReduce 的 map→shuffle→reduce 过程是怎样的?
中级 · 新题
Hive 把 SQL 转为 MapReduce/Tez 的原理?分区与分桶作用?
中级 · 新题
维度建模中星型与雪花模型区别?事实表与维度表?
中级 · 新题
数据湖与数据仓库的区别?湖仓一体(Lakehouse)是什么?
高级 · 新题
实时数仓常用架构(Kafka+Flink+OLAP)与 Lambda/Kappa 对比?
高级 · 新题
ClickHouse 为何查询快(列存/MergeTree/向量化)?
高级 · 新题
Apache Doris 的定位与 MPP 架构特点?适合什么场景?
高级 · 新题
数据治理涵盖哪些内容(元数据/血缘/质量/主数据)?
高级 · 新题
DataX 的架构与执行流程是什么?它和 Sqoop 相比设计差异在哪?
中级 · 新题
DataX 同步 MySQL 到 Hive 任务很慢或 OOM,你怎么调优?
高级 · 新题
DataX 如何做增量同步?全量+增量方案怎么设计才不丢数据?
高级 · 新题
Sqoop 的工作原理是什么?import 时 map 数与 --split-by 怎么影响性能?
中级 · 新题
Sqoop 增量导入的 --incremental append 与 lastmodified 模式有什么区别?各有什么坑?
中级 · 新题
Sqoop 导出到 MySQL 报大量数据倾斜或失败重试导致重复数据,怎么分析和避免?
高级 · 新题
Flume 的架构与核心概念(Source/Channel/Sink、Agent、Event)是什么?
初级 · 新题
Flume 采集日志到 HDFS,怎么保证不丢不重?HDFS Sink 的小文件问题怎么破?
中级 · 新题
日志采集选型:Flume、Filebeat+Kafka、Flink CDC 各适合什么场景?
高级 · 新题
Spark 的 Shuffle 是怎么工作的?从 Hash Shuffle 到 Sort Shuffle 解决了什么问题?有哪些关键调优手段?
高级 · 新题
Flink 的 Watermark 是怎么处理乱序数据的?event time 与 processing time 的取舍是什么?TwoPhaseCommitSink 如何实现 Exactly-Once?
高级 · 新题
Hive 里一张分区表 join 时数据倾斜导致个别 reducer 跑几个小时,你有哪些处理手段?内外部表(managed/external)的区别是什么?
中级 · 新题
Hudi、Iceberg、Delta Lake 三大湖表格式各自解决什么?ACID、时间旅行、Schema 演进是怎么实现的?
高级 · 新题
HDFS 的一次文件读写流程是怎样的?NameNode 如何做高可用(HA)与故障切换?
中级 · 新题
MapReduce 为什么慢?它的多次落盘与 Shuffle 网络开销问题,后来被什么方案优化?
中级 · 新题
设计一条离线 ETL:把业务库数据同步到 Hive 数仓并做 ODS/DWD/DWS/ADS 分层。
中级 · 新题
设计实时数仓:Kafka + Flink 流式 ETL 写入 OLAP,如何保证 Exactly-Once 与乱序/迟到数据处理?
高级 · 新题
范式建模与维度建模的区别是什么?数仓为什么普遍采用维度建模?
中级 · 新题
数仓分层(ODS / DWD / DWS / ADS)的意义是什么?每层做什么?
中级 · 新题
缓慢变化维(SCD)的常用处理方式有哪些?
中级 · 新题
数仓建模中星型模型(Star Schema)与雪花模型(Snowflake)的区别是什么?
初级 · 新题
什么是缓慢变化维(SCD)?常见的处理策略有哪些?
中级 · 新题
数据湖(Data Lake)与数据仓库(Data Warehouse)的核心区别是什么?
中级 · 新题
ClickHouse 为什么查询这么快?核心设计有哪些?
高级 · 新题
实时数仓 Lambda 架构与 Kappa 架构的区别与演进?
高级 · 新题
大表 JOIN 在数仓/OLAP 引擎中很慢,如何优化?
中级 · 新题
数据治理主要包含哪些内容?为什么重要?
中级 · 新题
Apache Doris 建表时 Duplicate、Aggregate 和 Unique 模型该怎么选?
中级 · 新题
CDC(Debezium/Canal)如何做到不丢不重?
高级 · 新题
Kafka Connect 的架构是什么?Source/Sink Connector 怎么保证伸缩和容错?
高级 · 新题
数据采集任务如何做断点续传和幂等?
高级 · 新题
埋点采集 SDK 怎么设计,保证上报可靠又不影响性能?
高级 · 新题
Flink 的整体架构由哪些核心组件构成?各自职责是什么?
中级 · 新题
Flink 有哪三种时间语义?Watermark 解决了什么问题,常见窗口类型有哪些?
中级 · 新题
Flink 如何保证精确一次(exactly-once)语义?Checkpoint 与状态后端原理是什么?
高级 · 新题
在线刷大数据与数据工程题 →