考察点:告警架构分层、Alertmanager 与 Grafana 的能力边界、避免重复告警。监控体系建设题。
要点:
- Prometheus:规则求值引擎——按 evaluation_interval 执行告警规则表达式,触发后把告警推给 Alertmanager;
- Alertmanager:告警分发中心——负责分组(grouping)、抑制(inhibition)、静默(silence)、去重、路由(route)、重试与通知模板;
- Grafana:可视化 + 统一告警——既能查询多种数据源,也能自己求值与发送告警(Unified Alerting);同时是值班与排障的入口。
1. Prometheus 规则 + Alertmanager(经典):指标告警走这条路。优势是成熟稳定、抑制/静默/分组能力最强,与 PromQL 的无状态求值语义贴合,告警规则与指标同源易审计(规则文件进 Git);劣势是只能基于指标(日志/链路告警要走别处),且多集群时需要处理 Alertmanager 的高可用与配置同步;
2. Grafana Unified Alerting(统一告警):可对任意数据源(Prometheus、Loki、MySQL、Elasticsearch、云监控)配置告警,一个界面管理全部告警,且能从看板面板一键创建告警(看板与告警强关联,运维体验好);劣势是避免把「重逻辑」放在 Grafana(它的求值是一次查询,缺少 Alertmanager 那套成熟的抑制/分组细节;且 Grafana 挂掉则告警链路中断,需要高可用部署)。
- 基础设施与 SLO 类指标告警(CPU、内存、磁盘、可用性、错误率、延迟)→ Prometheus 规则 + Alertmanager:表达式可版本化、抑制规则成熟(如「机器宕机时抑制其上的所有服务告警」)、与容量告警天然匹配;
- 业务与技术混合告警(日志错误关键词、业务数据库指标、第三方 API 状态、复合条件)→ Grafana Unified Alerting:它的多数据源能力在这里无可替代;
- 应用内明确的不变量(如「订单支付成功率 < 95%」)→ 放 Prometheus(业务指标本就该暴露为 /metrics)。
1. 同一条告警在两处配置 → 值班同学会收到双份通知,很快对告警脱敏(告警疲劳是监控体系失效的头号原因)。规则是:同一个信号只在一处产生告警;
2. 告警直接发给最终通知渠道(短信/电话)而不经过分组抑制 → 一次数据库抖动会炸出几百条通知。必须做分组(按服务/集群聚合)、抑制(根因告警出现时抑制衍生告警)、静默(计划内维护窗口)。
- 告警必须可执行:每条告警都要能回答「收到后我该做什么」——没有处置动作的告警应该删掉或降级为看板;
- 分层:页面级(Pager,立刻处理)→ 工单级(次日处理)→ 看板级(仅展示),不要让所有告警都打电话;
- 基于 SLO 的告警优于基于阈值:用「错误预算消耗速率」告警(如 1 小时消耗掉 2% 预算)比「错误率 > 1%」更贴近业务影响,且能自适应流量波动;
- 告警要有 owner:每条规则标注负责团队,否则会出现「没人认领的告警长期存在」;
- 定期复盘告警质量:统计触发次数、误报率、平均处理时长,持续删掉噪音告警——告警规则是要持续运营的资产,不是一次配置。
题目与答案就在本页;收藏、批注和错题重练在应用内