IT 面试题库

K8s 场景:Pod 一直 CrashLoopBackOff,怎么定位问题?

中级简答题公有云售后技术支持DevOps工程师云计算工程师KubernetesPodCrashLoopBackOff

题目

K8s 场景:Pod 一直 CrashLoopBackOff,怎么定位问题?

参考答案

内容深度:详细 · 含示例/代码 · 来源:官方整理 · 未复核 · 近 7 天更新

什么是 CrashLoopBackOff?

Pod 启动 → 崩溃退出 → K8s 重启 → 再次崩溃 → 等待时间递增重启

(10s → 20s → 40s → 最大5min)

📋 系统化排查流程

第一步:获取基本信息

查看 Pod 状态概览

kubectl get pod <pod-name> -n <namespace>

查看详细事件和状态

kubectl describe pod <pod-name> -n <namespace>

重点关注以下字段:

- Last State: 上次退出的状态码

- Exit Code: 退出码 (关键!)

- Events: 事件信息

第二步:查看日志(最关键)

查看当前日志

kubectl logs <pod-name> -n <namespace>

⭐ 查看上一次崩溃的日志(最重要!)

kubectl logs <pod-name> -n <namespace> --previous

实时跟踪日志

kubectl logs <pod-name> -n <namespace> -f

多容器 Pod 指定容器

kubectl logs <pod-name> -c <container-name> --previous

🚨 Exit Code 速查表

Exit Code 含义 常见原因

0 正常退出 容器任务执行完毕,不该作为常驻服务

1 通用错误 应用启动报错、配置错误

2 误用命令 Shell 命令错误

137 SIGKILL (128+9) OOM 被杀、手动 kill -9

139 段错误 (128+11) 内存访问违规

143 SIGTERM (128+15) 优雅终止超时

126 权限不足 命令无执行权限

127 命令不存在 镜像内找不到命令

🔧 常见原因及解决方案

原因1:应用启动失败(Exit Code 1)

排查步骤

kubectl logs <pod-name> --previous | tail -50

常见场景

❌ 配置文件读取失败

❌ 依赖服务连接失败(DB/Redis等)

❌ 端口被占用

❌ 环境变量缺失

YAML

验证环境变量是否正确注入

kubectl exec <pod-name> -- env | grep APP_

或在 Pod Spec 中检查

env:

- name: DB_HOST

valueFrom:

secretKeyRef:

name: db-secret

key: host # ← 确认 secret 和 key 存在

原因2:OOM 内存溢出(Exit Code 137)

Bash

确认是否 OOM

kubectl describe pod <pod-name> | grep -A5 "Last State"

输出示例:

Last State: Terminated

Reason: OOMKilled ← 确认是 OOM

查看节点内存事件

kubectl describe node <node-name> | grep -A10 "Events"

YAML

解决:调整资源限制

resources:

requests:

memory: "256Mi"

cpu: "250m"

limits:

memory: "512Mi" # ← 适当增大

cpu: "500m"

原因3:镜像问题

Bash

查看镜像拉取状态

kubectl describe pod <pod-name> | grep -E "Image|Pull"

常见错误

ErrImagePull / ImagePullBackOff → 镜像拉取失败

InvalidImageName → 镜像名称错误

YAML

检查清单

1. 镜像名称和 Tag 是否正确

image: myapp:v1.2.3 # ← 确认 tag 存在

2. 私有仓库需要 imagePullSecrets

imagePullSecrets:

- name: registry-secret

3. 本地测试验证

docker pull <image-name>

原因4:启动命令/入口错误(Exit Code 127)

Bash

模拟容器启动排查

kubectl run debug --image=<your-image> \

--command -- sleep 3600

kubectl exec -it debug -- /bin/sh

手动执行启动命令,查看具体报错

YAML

检查 command 和 args 配置

spec:

containers:

- name: app

image: myapp:v1

command: ["/bin/sh"] # ← 确认路径存在

args: ["-c", "start.sh"] # ← 确认脚本可执行

原因5:健康检查失败

Bash

查看探针相关事件

kubectl describe pod <pod-name> | grep -E "Liveness|Readiness|probe"

常见输出:

Liveness probe failed: HTTP probe failed with statuscode: 500

YAML

调整健康检查配置

livenessProbe:

httpGet:

path: /health

port: 8080

initialDelaySeconds: 30 # ← 给应用足够启动时间

periodSeconds: 10

failureThreshold: 3 # ← 失败几次才重启

timeoutSeconds: 5 # ← 超时时间

readinessProbe:

httpGet:

path: /ready

port: 8080

initialDelaySeconds: 10

原因6:权限/安全上下文问题

Bash

查看权限相关错误

kubectl logs <pod-name> --previous | grep -E "permission|denied|unauthorized"

YAML

检查 SecurityContext 配置

securityContext:

runAsUser: 1000

runAsNonRoot: true

readOnlyRootFilesystem: true # ← 只读根目录,需确保应用不写根目录

挂载可写目录

volumeMounts:

- name: tmp-dir

mountPath: /tmp # ← 提供可写临时目录

volumes:

- name: tmp-dir

emptyDir: {}

🛠️ 进阶排查工具

临时调试容器(不修改原镜像)

Bash

K8s 1.23+ 支持 ephemeral container

kubectl debug -it <pod-name> \

--image=busybox \

--target=<container-name>

或复制 Pod 进行调试

kubectl debug <pod-name> \

-it \

--copy-to=debug-pod \

--image=busybox \

-- sh

替换启动命令强制 Pod 存活

YAML

修改 Deployment,先让 Pod 跑起来再排查

spec:

containers:

- name: app

image: myapp:v1

command: ["sleep"]

args: ["infinity"] # ← 覆盖原启动命令

进入容器手动执行原启动命令

kubectl exec -it <pod-name> -- /bin/sh

然后手动运行: ./start.sh 查看报错

查看资源使用情况

Bash

实时资源使用(需要 metrics-server)

kubectl top pod <pod-name> -n <namespace>

查看历史事件

kubectl get events -n <namespace> \

--sort-by='.lastTimestamp' | grep <pod-name>

📊 排查决策树

text

CrashLoopBackOff

│

├── kubectl logs --previous 有输出?

│ ├── YES → 分析应用错误日志

│ │ ├── 配置/连接错误 → 检查 ConfigMap/Secret/网络

│ │ ├── OOM → 增加内存限制

│ │ └── 启动命令错误 → 检查 command/args

│ │

│ └── NO → kubectl describe pod 查看 Events

│ ├── OOMKilled → 增加内存限制

│ ├── Error Code 137 → 检查内存

│ ├── ImagePullBackOff → 检查镜像

│ └── Liveness probe failed → 调整探针参数

│

└── 无法复现 → 替换 command 为 sleep infinity 进入容器排查

✅ 排查检查清单

text

□ kubectl logs --previous 查看崩溃日志

□ kubectl describe pod 查看 Exit Code 和 Events

□ 确认镜像 Tag 正确且可拉取

□ 确认 ConfigMap/Secret 存在且内容正确

□ 确认依赖服务(DB/Redis)可访问

□ 检查资源限制是否合理(尤其内存)

□ 检查 LivenessProbe 的 initialDelaySeconds

□ 检查文件权限和 SecurityContext

□ 检查启动命令路径是否正确

□ 查看 Node 级别事件是否有异常

💡 核心原则:--previous 参数查看崩溃前日志是最高效的定位手段,80% 的问题都能从应用日志直接找到答案。

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题