I IT 面试题库
Kubernetes 集群中 GPU Pod 长时间处于 Pending 状态,请给出排查思路和常见原因
中级故障排查题公有云售后技术支持KubernetesGPUPending调度
题目
Kubernetes 集群中 GPU Pod 长时间处于 Pending 状态,请给出排查思路和常见原因
参考答案
内容深度:适中 · 无代码示例 · 来源:AI 生成 · 未复核 · 近 7 天更新
排查思路:
- 查看 Pod 事件:kubectl describe pod <pod> -n <ns>,确认是否为 GPU 资源不足。
- 检查节点 GPU 容量与分配:kubectl describe node <node> | grep -i nvidia.com/gpu 或 kubectl get nodes -o custom-columns=NAME:.metadata.name,GPU_ALLOC:.status.allocatable.nvidia\.com/gpu,GPU_CAP:.status.capacity.nvidia\.com/gpu。
- 检查 device plugin:kubectl get pods -n kube-system | grep nvidia-device-plugin,登录节点执行 nvidia-smi 验证驱动和 GPU 是否健康。
- 检查节点污点:kubectl describe node <node> | grep Taints,确认是否缺少对应容忍。
- 检查 namespace 是否设置了 ResourceQuota 限制 GPU 资源。
- 检查 Pod 是否指定了 nodeSelector / 亲和性,且标签与 GPU 节点不匹配。
常见根因:
- 申请数量超过可分配 GPU,或 GPU 被其他 Pod 占用;
- NVIDIA device plugin 未运行或版本不匹配,未向 kubelet 上报 GPU 资源;
- GPU 节点存在污点,Pod 未添加容忍;
- Namespace ResourceQuota 限制 GPU 总量;
- Pod spec 中 nodeSelector 未匹配 GPU 节点标签。
题目与答案就在本页;收藏、批注和错题重练在应用内