I IT 面试题库
分库分表后,跨分片的分页与聚合查询怎么做才能避免全分片扫描?
高级系统设计题Java后端工程师后端开发工程师跨分片查询分页聚合
题目
系统设计题:LIMIT 深翻页在分库中代价极高,请设计可行的分页与聚合方案。
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 48 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 深翻页难题:
LIMIT 100000,10 在分库中需要每个分片都查出前 100010 条再在中间件内存归并,越往后越慢、越废资源。
- 方案1(游标分页):产品上只允许“上一页/下一页”,基于上一页最大 ID/游标取下一页,每个分片只取一页并归并截断,彻底避免深翻页。
- 方案2(异构到 ES/数仓):把分片数据异步同步到 Elasticsearch 或数据仓库,复杂查询与深分页交给 ES,应用侧只做单分片点查。
- 方案3(冗余维度/基因):把常用查询维度冗余成“基因”让该维度查询能路由到单分片。
- 聚合下推:COUNT/SUM 各分片并行算后汇总;ORDER BY+LIMIT 各分片取 TopN 再归并;GROUP BY 各分片预聚合后再二次聚合。核心是“计算下推到分片并行 + 中间件归并”,禁止全量拉取。
题目与答案就在本页;收藏、批注和错题重练在应用内