I IT 面试题库
要在生产环境对支付服务做一次「杀掉一个 Pod」的混沌实验,怎么设计才能既验证韧性又最小化影响?
中级场景题SRE站点可靠性工程师后端开发工程师云计算工程师混沌工程PodKillGameDay爆炸半径回滚
题目
场景题:把流程落到真实操作。你是 SRE,老板要求验证支付服务某个无状态实例挂掉用户无感,但绝不能真出资损。怎么设计?
参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 25 天前更新
要点:
- 先算爆炸半径与前置条件:确认该 Pod 是无状态、多副本(≥3)、有健康探针与就绪探针、流量经负载均衡能自动摘流;确认下游(数据库/缓存/第三方支付网关)有冗余与熔断;准备好一键回滚/停止开关。
- 实验设计:选低峰期;只杀单个 Pod(而非全部),用 Chaos Mesh 的 PodChaos kill 或
kubectl delete pod 模拟节点/容器失效;注入后立刻观察稳态指标(支付成功率、P99、订单创建成功率)是否在阈值内自愈。
- 护栏与观测:实验前设好自动终止规则(如支付成功率跌破 99.9% 立即结束并恢复),告警推送到值班群;保留对照组(其余副本正常服务);全程录屏/记录指标曲线。
- 复盘闭环:若稳态被破坏(如杀 Pod 后请求大量 5xx),说明缺乏优雅摘流或熔断,记入待修项并跟踪;若平稳,则把该实验固化为定期 GameDay 用例,证明韧性可持续验证。
题目与答案就在本页;收藏、批注和错题重练在应用内