参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 24 天前更新
要点:
- MPP + 列式并行:查询被拆成多个 Fragment 下发到各 BE 并行执行,BE 间通过 Shuffle 交换数据,支持跨多张大表的分布式 JOIN,充分压榨集群算力。
- 向量化执行(Vectorized):内存中的数据结构全部按列式布局,一次循环处理一批(batch)数据而非单行,减少虚函数调用、提升 CPU 缓存命中,并可利用 SIMD 指令,宽表聚合场景可获 5–10 倍提升。
- Pipeline 执行引擎:把算子切分为可调度流水线,按多核 CPU 并行调度、并对线程数设上限避免线程膨胀,提升 CPU 利用率与吞吐。
- Runtime Filter(运行时过滤):在运行时把小表 JOIN 的过滤条件(如 min/max、bloom filter)下推到大表扫描端,提前剪枝大量无效数据,极大减少 Shuffle 与扫描量。
- 全局查询规划 + 自适应(AQE):基于统计信息做全局优化,运行时再按实际数据分布动态调整执行计划。
本质是「并行(MPP)+ 批量(向量化)+ 智能剪枝(Runtime Filter)+ 动态调度(Pipeline/AQE)」四者叠加,把 IO 与 CPU 都用到极致。