参考答案
内容深度:适中 · 无代码示例 · 来源:其他来源 · 未复核 · 81 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
每代都在还「上一代的体验债」:
- MapReduce:可靠但每步结果写 HDFS,多步任务链变成磁盘 IO 链,且只有 Map/Reduce 两个算子,复杂逻辑要拼 DAG;
- Spark:内存计算 + 丰富算子——中间结果留在内存(RDD 血缘容错),SQL/流式/图计算统一 API → 开发效率与速度双赢,一统批处理;
- Flink:真正的流处理优先——数据当无限流处理,延迟毫秒级、状态管理完善、自带事件时间语义 → 在实时数仓/风控反超 Spark Streaming 的微批模型。
主线:延迟从小时 → 分钟 → 秒/毫秒,易用性同步提升。选型本质是「实时性要求 × 运维成本」的权衡。