IT面试题库
大数据开发工程师面试题
大数据开发工程师岗位的 86 道 IT 面试题,按岗位技术栈组织,支持限时小测与错题复习。
高频题目
Kafka 的分区(partition)和消费者组(consumer group)如何配合实现并行消费?发生再平衡(rebalance)时会发生什么?
中级 · 4 次浏览
Hive 与关系型数据库(MySQL)的主要区别是什么?Hive 适合什么场景?
中级 · 2 次浏览
大数据【诞生】为什么单机数据库扛不住之后,不是「买更大的机器」,而是出现了 Hadoop?
初级 · 1 次浏览
ClickHouse 为什么分析查询这么快?它的架构与适用边界是什么?
中级 · 1 次浏览
HDFS 小文件问题是怎么产生的?为什么它会拖垮 NameNode 和计算层?有哪些治理手段?
中级 · 1 次浏览
什么场景需要引入大数据技术栈?它和单机处理本质区别在哪?
初级 · 1 次浏览
一个实时指标需求,该用 Spark 还是 Flink?请从批/流模型、时延、状态管理说明选型。
中级 · 1 次浏览
Top K 问题(最大 K 个数)有哪些解法?
高级 · 新题
大数据【本质】MapReduce → Spark → Flink 的演化分别在还什么债?为什么 Spark 能一统批处理?
初级 · 新题
大数据【本质】业务库明明有数据,为什么还要费劲建「数据仓库」?数仓建模到底在加工什么?
初级 · 新题
大数据【边界】「我们公司数据很大」就该上 Hadoop 全家桶吗?大数据架构的成本账单和轻量替代方案有哪些?
初级 · 新题
ClickHouse MergeTree 表的 ORDER BY 该怎么设计?为什么按第二主键列过滤时索引几乎不起作用?
高级 · 新题
Spark 的 RDD 与 DataFrame / Dataset 有什么区别?为什么 DataFrame 通常执行更高效?
中级 · 新题
Flink 如何保证端到端 exactly-once?Checkpoint 与两阶段提交(2PC)分别是怎么配合的?
高级 · 新题
Kafka 为什么要做顺序写(磁盘顺序 I/O)?消费者又能保证怎样的顺序性?
初级 · 新题
Kafka 消费者组的 Rebalance(重平衡)是什么?会带来什么问题,如何优化?
中级 · 新题
Kafka 如何实现精确一次语义(EOS)?在流式处理中怎样落地?
高级 · 新题
分区数与消费者组的关系是什么?并行度如何设计?
中级 · 新题
Kafka 中消息在什么情况下会丢失或重复?分别如何规避?
中级 · 新题
Hadoop 生态核心组件(HDFS/MapReduce/YARN)各自职责?
初级 · 新题
MapReduce 的 map→shuffle→reduce 过程是怎样的?
中级 · 新题
Hive 把 SQL 转为 MapReduce/Tez 的原理?分区与分桶作用?
中级 · 新题
HBase 的数据模型(行键/列族/版本)与适用场景?
高级 · 新题
Scala 的函数式与面向对象融合特性?与 Spark 的关系?
高级 · 新题
DataX 的架构与执行流程是什么?它和 Sqoop 相比设计差异在哪?
中级 · 新题
DataX 同步 MySQL 到 Hive 任务很慢或 OOM,你怎么调优?
高级 · 新题
DataX 如何做增量同步?全量+增量方案怎么设计才不丢数据?
高级 · 新题
Sqoop 的工作原理是什么?import 时 map 数与 --split-by 怎么影响性能?
中级 · 新题
Sqoop 增量导入的 --incremental append 与 lastmodified 模式有什么区别?各有什么坑?
中级 · 新题
Sqoop 导出到 MySQL 报大量数据倾斜或失败重试导致重复数据,怎么分析和避免?
高级 · 新题
Flume 的架构与核心概念(Source/Channel/Sink、Agent、Event)是什么?
初级 · 新题
Flume 采集日志到 HDFS,怎么保证不丢不重?HDFS Sink 的小文件问题怎么破?
中级 · 新题
日志采集选型:Flume、Filebeat+Kafka、Flink CDC 各适合什么场景?
高级 · 新题
Kafka 的日志保留(retention)和日志压缩(log compaction)有什么区别?分别在什么场景下使用?
高级 · 新题
Spark 的 Shuffle 是怎么工作的?从 Hash Shuffle 到 Sort Shuffle 解决了什么问题?有哪些关键调优手段?
高级 · 新题
HBase 的 RowKey 设计为什么要防「热点」?列出至少四种常见热点成因与对应的打散策略,并说明盐析(Salting)的代价。
高级 · 新题
Flink 的 Watermark 是怎么处理乱序数据的?event time 与 processing time 的取舍是什么?TwoPhaseCommitSink 如何实现 Exactly-Once?
高级 · 新题
Hive 里一张分区表 join 时数据倾斜导致个别 reducer 跑几个小时,你有哪些处理手段?内外部表(managed/external)的区别是什么?
中级 · 新题
Hudi、Iceberg、Delta Lake 三大湖表格式各自解决什么?ACID、时间旅行、Schema 演进是怎么实现的?
高级 · 新题
HDFS 的一次文件读写流程是怎样的?NameNode 如何做高可用(HA)与故障切换?
中级 · 新题
MapReduce 为什么慢?它的多次落盘与 Shuffle 网络开销问题,后来被什么方案优化?
中级 · 新题
设计一条离线 ETL:把业务库数据同步到 Hive 数仓并做 ODS/DWD/DWS/ADS 分层。
中级 · 新题
设计实时数仓:Kafka + Flink 流式 ETL 写入 OLAP,如何保证 Exactly-Once 与乱序/迟到数据处理?
高级 · 新题
数仓建模中星型模型(Star Schema)与雪花模型(Snowflake)的区别是什么?
初级 · 新题
什么是缓慢变化维(SCD)?常见的处理策略有哪些?
中级 · 新题
数据湖(Data Lake)与数据仓库(Data Warehouse)的核心区别是什么?
中级 · 新题
ClickHouse 为什么查询这么快?核心设计有哪些?
高级 · 新题
实时数仓 Lambda 架构与 Kappa 架构的区别与演进?
高级 · 新题
大表 JOIN 在数仓/OLAP 引擎中很慢,如何优化?
中级 · 新题
数据治理主要包含哪些内容?为什么重要?
中级 · 新题
Scala 的 case class 和普通 class 有什么区别?为什么模式匹配和不可变建模离不开它?
中级 · 新题
Flink 的整体架构由哪些核心组件构成?各自职责是什么?
中级 · 新题
Flink 有哪三种时间语义?Watermark 解决了什么问题,常见窗口类型有哪些?
中级 · 新题
Flink 如何保证精确一次(exactly-once)语义?Checkpoint 与状态后端原理是什么?
高级 · 新题
【场景】Flink 作业出现反压(背压),从现象到定位再到缓解,你怎么做?
高级 · 新题
Flink 与 Spark Streaming 在流处理上有何本质区别?分别适合什么场景?
中级 · 新题
【故障排查】Flink 作业频繁 Full GC / OOM 或数据倾斜,如何排查与调优?
高级 · 新题
【编程】用 Flink DataStream API 实现一个按用户维度统计最近 1 分钟滚动窗口 PV 的程序骨架。
中级 · 新题
ClickHouse 为什么快?列式存储和 MergeTree 引擎的核心设计是什么?
初级 · 新题
如何为一张大宽表设计主键(ORDER BY)和跳数索引(skipping index),兼顾点查与聚合?
中级 · 新题
在线刷大数据开发工程师题 →