参考答案
内容深度:详细 · 无代码示例 · 来源:外部链接 · 未复核 · 54 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
1. 先定性:这是典型的「重试风暴 + 雪崩」
重试本身是应对瞬态故障的手段,但当故障率升高或大量客户端同时重试时,重试流量会叠加到已经变慢的下游上,形成正反馈:下游越慢 → 越多超时 → 越多重试 → 下游更慢。多层服务同时重试时,还会沿调用链逐级放大。
2. 根因复盘清单
- 重试策略是否用了固定间隔:多个客户端会在同一时刻同步重试。
- 是否无差别重试所有错误:参数错误(400)、权限失败(401/403)、业务规则失败、余额/库存不足重试毫无意义;只有连接超时、读超时、连接重置、临时 5xx、带
Retry-After 的 429 才适合重试。
- 是否重试了非幂等写操作:支付、下单、扣库存、发券这类写操作重试必须有幂等键兜底。
- 重试次数与超时是否叠加出无法接受的尾部延迟:例如读超时 1.5s、重试 3 次、退避 1s/2s/4s,最坏约 13s。
- 超时是否每层「拍脑袋」写固定值:容易出现上游已超时返回、下游仍在执行无效请求。
3. 改造方案
- 换成带 Jitter 的指数退避(如 1s、2s、4s 加随机抖动),打散多客户端的同步重试,分布式系统默认推荐。
- 收紧重试次数:在线同步请求通常 1~3 次;异步任务 / MQ 消费可以更多,但必须配最大重试次数、死信队列、告警和人工补偿。
- 区分可重试错误,只重试超时、连接断开、临时 5xx,以及明确允许重试的限流响应。
- 引入重试预算(Retry Budget):限制窗口内重试请求占总请求的比例(如不超过 10%),超预算后快速失败或只允许首试。
- 改造成 deadline / timeout budget 模型:遵循「下游超时 < 上游超时」,入口给总时间预算,每层扣除本地处理、排队、网络和下游调用耗时,下游超时不得超过调用方剩余预算。
- 补齐配套机制:超时 + 重试 + 熔断(快速失败)+ 限流(保护下游)+ 隔离(线程池/信号量,防止级联失败)必须组合使用。
- 可观测:观察 P99/P999 延迟、超时率、线程池队列、连接池等待时间和重试量;超时参数调整要灰度发布。