参考答案
内容深度:适中 · 无代码示例 · 来源:AI 生成 · 未复核 · 近 7 天更新
处理流程:
- 告警确认:确认 GPU 掉卡和温度过高告警的客户、实例、GPU 卡位置、发生时间,评估影响。
- 通知客户:按 SLA 通知客户,告知可能影响(如计算任务失败、性能下降)。
- 远程排查:登录实例执行 nvidia-smi、nvidia-smi -q -d TEMPERATURE、dmesg | grep -i nvidia、journalctl -k | grep -i nvidia,确认 GPU 是否识别、温度、功耗、ECC 错误。
- 判断故障性质:若 nvidia-smi 无输出且 lspci 也看不到 GPU,可能是硬件掉卡或 PCIe 链路问题;若 lspci 可见但 nvidia-smi 不识别,可能是驱动或内核模块问题。
- 处理措施:如果是驱动问题,尝试重装或升级驱动并重启;如果是硬件故障,安排迁移实例到其他宿主机、更换 GPU 卡或重启;若是散热问题,协调机房检查风扇和环境温度。
- 根因分析收集:执行 nvidia-bug-report.sh,收集内核日志、GPU 序列号、驱动版本、宿主机日志,提交厂商分析。
- 跟进闭环:更新工单,记录处理动作,回访客户确认业务恢复。
需要收集的日志:nvidia-smi 输出、nvidia-bug-report.sh、dmesg、/var/log/syslog、GPU 序列号和位置、监控历史。