考察点:监控方法论、指标选型、看板分层。SRE 核心方法论题。
要点:
1. 延迟(Latency):必须区分成功请求与失败请求的延迟——失败的快返回会拉低平均值,掩盖真实的服务恶化(这是最常见的设计错误);且要看分位数(P50/P90/P99)而不是平均值;
2. 流量(Traffic):系统承受的负载——QPS、并发连接数、消息吞吐。它是其他指标的分母,没有流量就无从判断「错误率升高是因为流量涨了还是服务坏了」;
3. 错误(Errors):显式错误(500、超时、异常抛出)与隐式错误(协议返回 200 但内容是错误、返回空列表、业务码失败)都要覆盖——只看 HTTP 状态码会漏掉大量业务失败;
4. 饱和度(Saturation):资源「有多满」——CPU/内存/磁盘 IO/连接池/线程池/队列长度。重点是「最受限的那一项资源」,且要看接近上限的趋势(用于提前扩容,而不是等崩)。
- 第一层·业务总览(给所有人看):核心业务指标(下单量、成功率、支付转化)、错误预算剩余、当前是否故障。决策者只看这一层;
- 第二层·服务概览(给值班看):每个服务的黄金四指标(QPS、错误率、P99、饱和度),按服务分组,一眼看出哪个服务异常;
- 第三层·实例/依赖下钻(给排障看):负载均衡分布(是否单实例异常)、依赖调用(DB/Redis/下游服务的耗时与错误率)、实例级资源。用于回答「哪个实例、哪一跳出问题」;
- 第四层·运行时细节:JVM/GC、线程池拒绝数、GC 停顿、慢 SQL、连接池等待——只有排障时才看。
- 同一维度放同一张图:延迟的 P50/P90/P99 画在一起才能看出「是长尾变差还是整体变慢」;
- 用 sum by (service) 而不是逐实例堆叠在概览层(实例太多会看不清);下钻层再按实例拆;
- 对比基线:面板上叠加「昨天同时段」或「上周同一天」的曲线——没有对比就看不出异常,这是最实用的一招;
- 时间范围与刷新要合理:概览 6 小时/30s 刷新、排障 1 小时/10s 刷新,别让大范围面板高频刷新;
- 从告警可直接跳到看板:告警通知里带看板链接 + 时间点(预置好聚焦最近故障窗口的时间范围),否则值班要先找看板;
- 标注变更事件(Annotations):把发布、配置变更、扩缩容打到看板上——绝大多数故障与变更相关,这个功能能省掉大量「是不是刚发了版」的排查时间。
- 看板有 50 个面板 / 200 条曲线:信息过载等于没有信息,没人看得懂等于没人看;
- 平均延迟看起来很好但用户体验差:被 P99 掩盖(或反过来,被平均值掩盖长尾);只看成功请求延迟;
- 只监控机器不看业务:CPU 都很健康但订单成功率已经掉了;
- 没有 owner 与说明:面板无描述、无阈值标注,新人看不懂;
- 把「看板」当「报表」:历史趋势应该进数据仓库做分析,而不是塞进监控看板拖慢查询。
题目与答案就在本页;收藏、批注和错题重练在应用内