IT 面试题库

Grafana 看板大时间范围查询很慢怎么办?Recording Rule 与降采样该怎么用?

高级故障排查题SRE站点可靠性工程师DevOps工程师系统运维工程师Grafana性能优化RecordingRule降采样指标基数

题目

考察点:查询性能问题、预聚合、指标基数。Grafana 规模化的必修课。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 70 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:

1. 查询要扫描的时间序列数(基数)太多——sum by (route) 之类跨几百条 series 聚合,每次都要读大量样本;

2. 时间范围大 → 样本数线性增长:查 30 天、采集间隔 15s,单条 series 就是 17 万个样本;PromQL 的区间函数(rate/avg_over_time)需要在内存里对每个 series 逐个计算;

3. 面板数量多:一个看板 20 个面板 = 20 个独立查询,Grafana 会并发发出但 TSDB 是共享负载;

4. 查询触发了高代价操作:正则匹配标签、histogram_quantile 跨大量桶、count by (...) (metric) 全量枚举;

5. 数据源配置与缓存:未启用查询缓存/结果缓存,每次都实打实算;Grafana 的 max data points 与 min interval 未调优导致拉回远超屏幕像素的样本数。

1. min interval 与 Max data points:面板上设置 Max data points ≈ 面板宽度像素(如 1000),Min interval ≥ 采集间隔——这是零成本、收益最大的一步(Prometheus 会自动按步长降采样,减少传输与渲染量);

2. Recording Rule(预聚合):把常用且昂贵的聚合定时算好并写成新指标(如 job:request_rate5m:sum),看板直接查预聚合结果。优势是查询极快、语义稳定(团队约定 level:metric:operations 命名);注意:

- 只保留必要的标签(预聚合必须 by 掉高基数标签,否则失去意义);

- 区间函数要固化区间(如固定 5m,不能在预聚合里留给查询时随意指定——预聚合的时间粒度一旦选定无法回溯改变);

- 适合高频、稳定、跨大范围查询的指标;

3. 降采样(Downsampling / 历史数据分层):长期存储(Thanos/Mimir/VictoriaMetrics)把原始样本按时间粒度归档——近期保留 15s 精度、30 天后保留 5m、一年后保留 1h。时间范围越大,用越粗的粒度,查询量与存储量都大幅下降。代价是精度丢失,所以原始数据要保留足够窗口(排障需要的正是近期精度);

4. 指标基数治理(治本):别让高基数标签进入指标(用户 ID、请求 ID、URL 全路径),改用路由模板、分桶、或把这部分数据放日志/链路。基数问题不解决,Recording Rule 也只是把慢查询转移成慢写入;

5. 仪表盘工程化:拆大看板(概览看板用预聚合、详情看板看单实例)、用模板变量避免「一行展示所有服务」、把「总览」与「下钻」分离;对非常慢的面板设较长的刷新间隔(如 5 分钟),不要让 30 天范围的面板每 10 秒刷新一次;

6. 数据源与存储侧:启用 Prometheus 侧的查询缓存(或 Thanos Query 的 --query.replica-label 去重 + 缓存)、控制 --query.max-samples 防止单查询打爆内存;用远程读(remote read)替代每处直连多个 Prometheus。

- 用 Prometheus 的 /api/v1/status/tsdb 与 Grafana 的查询检查器(Query Inspector)看真实耗时与返回样本数——先量化再动手;

- 关注 Prometheus 自身的 prometheus_engine_query_duration_seconds 与慢查询日志(--query.log-slow-queries)定位最贵的查询;

- 建立规范:新增看板必须设 Max data points、跨周查询必须用预聚合、新增标签必须过基数评审(这比事后优化更省事)。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题