业务反馈后台导出和「跳页」功能经常超时,集群出现 circuit_breaking_exception 和节点掉线。请从分布式检索的执行过程说明根因,并给出可行的分页方案。
根因:深分页是「全局排序 + 全分片重算」
from + size 条)加载进内存并排序,再返回给协调节点。分片数 × (from + size) 条文档。翻到第 1000 页时,即使只展示 10 条,集群也要在内存里排序、丢弃数万条结果,内存与 CPU 暴涨,直接表现为超时、circuit_breaking_exception,甚至节点 OOM 掉线。from/size 翻过 10000 条,这是 index.max_result_window 设的保护阈值。盲目调大该参数只是把 OOM 风险往后推。方案一:search_after(实时深分页首选)
from 必须为 0 或 -1。_id 的 doc_values 副本),否则翻页可能漏数据或重复。POST /my-index/_pit?keep_alive=1m 拿到 PIT ID,后续请求带上它,保证翻页期间看到的是同一份索引快照;PIT 会自动附加 _shard_doc 隐式 tie-breaker。用完要主动 DELETE /_pit 释放。不需要总数时可加 track_total_hits: false 提速。方案二:scroll(仅离线批量导出)
方案三:从产品侧规避
_doc 顺序全量拉取。题目与答案就在本页;收藏、批注和错题重练在应用内