IT 面试题库

收到 GPU 卡掉卡或温度过高告警,如何跟进处理并避免影响客户业务

中级故障排查题公有云售后技术支持GPU告警硬件故障

题目

收到 GPU 卡掉卡或温度过高告警,如何跟进处理并避免影响客户业务

参考答案

内容深度:适中 · 无代码示例 · 来源:AI 生成 · 未复核 · 近 7 天更新

处理流程:

  1. 告警确认:确认 GPU 掉卡和温度过高告警的客户、实例、GPU 卡位置、发生时间,评估影响。
  2. 通知客户:按 SLA 通知客户,告知可能影响(如计算任务失败、性能下降)。
  3. 远程排查:登录实例执行 nvidia-smi、nvidia-smi -q -d TEMPERATURE、dmesg | grep -i nvidia、journalctl -k | grep -i nvidia,确认 GPU 是否识别、温度、功耗、ECC 错误。
  4. 判断故障性质:若 nvidia-smi 无输出且 lspci 也看不到 GPU,可能是硬件掉卡或 PCIe 链路问题;若 lspci 可见但 nvidia-smi 不识别,可能是驱动或内核模块问题。
  5. 处理措施:如果是驱动问题,尝试重装或升级驱动并重启;如果是硬件故障,安排迁移实例到其他宿主机、更换 GPU 卡或重启;若是散热问题,协调机房检查风扇和环境温度。
  6. 根因分析收集:执行 nvidia-bug-report.sh,收集内核日志、GPU 序列号、驱动版本、宿主机日志,提交厂商分析。
  7. 跟进闭环:更新工单,记录处理动作,回访客户确认业务恢复。

需要收集的日志:nvidia-smi 输出、nvidia-bug-report.sh、dmesg、/var/log/syslog、GPU 序列号和位置、监控历史。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题