当数据量到 TB/PB 级、单机磁盘 IO 成了瓶颈,「移动数据到计算那边」和「移动计算到数据那边」哪个更划算?
单机的墙:磁盘顺序读虽快,但 PB 级数据按 MB/s 级网络拉到一台机器集中算,光搬运就要以天计。
Hadoop 的第一性思想:移动计算比移动数据便宜——把计算代码分发到数据所在的节点并行执行,每台机器只算本地数据,最后汇总。
两大支柱由此而来:
理解了「为什么计算要靠近数据」,Hadoop 生态的所有组件(Hive/Spark/HBase)在架构里的位置就一目了然。
题目与答案就在本页;收藏、批注和错题重练在应用内