IT 面试题库

接到告警:核心服务 P99 延迟突增,给你 10 分钟,如何系统性定位是 CPU、内存、IO 还是网络瓶颈?

高级场景题系统运维工程师DevOps工程师性能排查USE方法P99延迟故障定位综合

题目

考察点:USE 方法论在真实告警中的落地顺序、每步判据,避免无头苍蝇式排查。追问:为什么第一步必须做全局快照,而不是直接 perf?

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 72 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

10 分钟结构化定位(USE 驱动,先整体后局部):

  1. 第 0 步·全局快照(< 1min):uptime 看 load average;top 一眼扫 CPU(us / sy / wa)、内存、各进程占用;vmstat 1 同时看 r(CPU 排队)、b(IO 阻塞)、si / so(swap)、bi / bo(IO)、cs(上下文切换)。这一步就能把锅甩到「CPU / 内存 / IO」三大方向之一。
  2. 第 1 步·CPU 方向:若 r 大、%us 高 → mpstat -P ALL + pidstat -u + perf top 找热点;%wa 高则转 IO 方向。
  3. 第 2 步·内存方向:若 si / so > 0 或 available 逼近 0 → sar -r、top 按内存排序、查 OOM(dmesg)。
  4. 第 3 步·IO 方向:若 b 大、bo / bi 高 → iostat -x 1 看 %util / aqu-sz / await 定位盘。
  5. 第 4 步·网络方向:若以上都正常但延迟仍在 → sar -n DEV,ETCP 1 看 retrans / drop,ss -anti 看重传与队列,确认是否对端 / 中间网络。

判据收敛:每一步用「利用率 / 饱和度 / 错误」三件套下结论,定位到资源后再钻取具体进程 / 连接。切忌跳过全局快照直接 perf / 火焰图——那是把 10 分钟浪费在无方向采样上。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题