IT 面试题库

Prometheus 告警频繁误报、值班同学已经麻木,告警风暴时该如何快速定位根因并重设告警规则?

高级故障排查题SRE站点可靠性工程师DevOps工程师PrometheusAlertmanager告警治理

题目

团队反馈监控「又吵又没用」:一次网络小抖动会刷出上百条告警,真正的故障反而被淹没在消息里。请说明你的排查路径,以及重新设计告警规则时应遵循哪些原则。

参考答案

内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 77 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

一、告警风暴的排查路径

1. 先做元监控(metamonitoring)自检。确认 Prometheus、Alertmanager、PushGateway 与通知通道本身是否存活。外部黑盒监控(例如一条从 PushGateway → Prometheus → Alertmanager → 邮件的端到端探测)能发现白盒监控看不到的问题,也能在内网监控系统整体失效时兜底。

2. 判断是「一条根因刷出多条告警」还是「真的多点故障」。用 Alertmanager 的分组与抑制(inhibition)把同源告警合并:底层组件慢但用户侧延迟正常时,不应单独呼叫人。

3. 判断阈值是否过紧。没有 for 持续时长、直接对瞬时值告警,是毛刺刷屏的最常见原因;应先看原始曲线再决定是改阈值还是改持续时间。

4. 审查规则是不是在告警「原因」而不是「症状」。对同一个用户可感知问题建 N 条规则,是告警量膨胀的根本来源。

二、重设规则的原则

三、收尾

告警名称用 CamelCase 统一命名;每条告警必须带严重级别与 runbook 链接;「没有任何可行动作」的告警一律删除——叫醒人却无事可做,是告警疲劳的核心成因。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题