参考答案
内容深度:基础 · 无代码示例 · 来源:外部链接 · 未复核 · 44 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 数据倾斜:某 key 数据量极大导致单点长尾;用盐值(salting)打散热点 key,或对热点单独处理再合并。
- 广播 Join(MapJoin):小表广播到各节点避免 Shuffle,设置
autoBroadcastJoinThreshold。
- 分桶/分区裁剪:按 Join key 分桶(Bucket)使同 key 同节点,配合分区裁剪减少扫描量。
- 谓词下推与列裁剪:把过滤下推到存储层,只取必要列。
- 避免笛卡尔积与隐式类型不一致导致的重算;按引擎选合适 Join(ClickHouse 字典/Join 表,Doris Colocate Join)。