IT 面试题库

大数据【诞生】为什么单机数据库扛不住之后,不是「买更大的机器」,而是出现了 Hadoop?

初级开放讨论题大数据工程师大数据开发工程师数据仓库工程师大数据架构师第一性原理必读大数据与数据工程

题目

当数据量到 TB/PB 级、单机磁盘 IO 成了瓶颈,「移动数据到计算那边」和「移动计算到数据那边」哪个更划算?

参考答案

内容深度:基础 · 无代码示例 · 来源:其他来源 · 未复核 · 81 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

单机的墙:磁盘顺序读虽快,但 PB 级数据按 MB/s 级网络拉到一台机器集中算,光搬运就要以天计。

Hadoop 的第一性思想:移动计算比移动数据便宜——把计算代码分发到数据所在的节点并行执行,每台机器只算本地数据,最后汇总。

两大支柱由此而来:

理解了「为什么计算要靠近数据」,Hadoop 生态的所有组件(Hive/Spark/HBase)在架构里的位置就一目了然。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题