Spark 经历了从 RDD 到 DataFrame/Dataset 的演进,理解两者差异能说明你对 Spark 执行引擎优化(Catalyst / Tungsten)的掌握。
最底层的弹性分布式数据集 API:用 Java/lambda 函数式算子(map/filter/reduce)操作,类型安全但无内置 Schema,绕过优化器——每个算子的执行计划由用户代码直接决定,难以全局优化。
带 Schema 的结构化 API:
DataFrame 因为「有结构 + 有优化器」,Spark 能看穿整条计算图并做全局优化,而 RDD 只能逐算子执行。因此相同逻辑下 DataFrame 通常显著快于手写 RDD。
题目与答案就在本页;收藏、批注和错题重练在应用内