IT 面试题库

Spark 的 RDD 与 DataFrame / Dataset 有什么区别?为什么 DataFrame 通常执行更高效?

中级简答题大数据开发工程师大数据工程师SparkRDDDataFrame

题目

Spark 经历了从 RDD 到 DataFrame/Dataset 的演进,理解两者差异能说明你对 Spark 执行引擎优化(Catalyst / Tungsten)的掌握。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

RDD

最底层的弹性分布式数据集 API:用 Java/lambda 函数式算子(map/filter/reduce)操作,类型安全但无内置 Schema,绕过优化器——每个算子的执行计划由用户代码直接决定,难以全局优化。

DataFrame / Dataset

带 Schema 的结构化 API:

为何更快

DataFrame 因为「有结构 + 有优化器」,Spark 能看穿整条计算图并做全局优化,而 RDD 只能逐算子执行。因此相同逻辑下 DataFrame 通常显著快于手写 RDD。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题