IT 面试题库

大数据【本质】MapReduce → Spark → Flink 的演化分别在还什么债?为什么 Spark 能一统批处理?

初级开放讨论题大数据工程师大数据开发工程师数据仓库工程师大数据架构师第一性原理必读大数据与数据工程

题目

MR 慢在哪(每步都落盘)?Spark 用什么换掉了它?Flink 为什么能在「实时」赛道反超?

参考答案

内容深度:适中 · 无代码示例 · 来源:其他来源 · 未复核 · 81 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

每代都在还「上一代的体验债」:

  1. MapReduce:可靠但每步结果写 HDFS,多步任务链变成磁盘 IO 链,且只有 Map/Reduce 两个算子,复杂逻辑要拼 DAG;
  2. Spark:内存计算 + 丰富算子——中间结果留在内存(RDD 血缘容错),SQL/流式/图计算统一 API → 开发效率与速度双赢,一统批处理;
  3. Flink:真正的流处理优先——数据当无限流处理,延迟毫秒级、状态管理完善、自带事件时间语义 → 在实时数仓/风控反超 Spark Streaming 的微批模型。

主线:延迟从小时 → 分钟 → 秒/毫秒,易用性同步提升。选型本质是「实时性要求 × 运维成本」的权衡。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题