考察点:大模型调用链路的工程化能力,尤其是重试边界与幂等设计的取舍。
要点:大模型 API 的响应时间、计费方式和错误类型都与普通业务接口不同,重试和幂等必须一起设计。
一次生产级调用的环节:接入鉴权 → Prompt/上下文组装 → 参数与 Schema 校验 → 限流配额检查 → 调用模型(同步或流式)→ 流式增量转发 → 结构化解析与校验 → 日志、计费与落库。
大模型重试的两个特殊点
错误分类与处理
| 错误类型 | 示例 | 是否重试 | 处理方式 |
| --- | --- | --- | --- |
| 网络瞬断 | 连接重置、DNS 抖动、读超时 | 可以 | 指数退避 + 抖动,限制最大次数 |
| 供应商 5xx | 500、502、503、504 | 可以 | 短暂重试,超阈值切换模型或降级 |
| 供应商过载 | Anthropic 529、overloaded | 可以 | 慢重试,必要时熔断该供应商 |
| 429 限流 | RPM、TPM、RPD、并发超限 | 谨慎 | 优先看 Retry-After 和限流头,排队或降级 |
| 流式中断 | 未收到正常结束事件 | 视场景 | 用户可见任务不自动重试,后台任务可幂等重试 |
| 400 参数错误 | Schema 不合法、上下文超限 | 不建议 | 修请求,不要重试同一 payload |
| 401/403 | API Key 无效、权限不足 | 不建议 | 告警并停用对应 Key |
| 安全拒答 | 内容策略拒绝 | 不建议 | 进入业务拒答流程 |
| 解析失败 | JSON 不完整、字段类型错误 | 有限重试 | 带失败原因二次修复,最多 1~2 次 |
退避公式与两条硬约束
sleep = min(maxDelay, baseDelay * 2^retryCount) + random(0, jitter)
抖动用来避免所有请求同时重试、把刚恢复的系统再次打进限流。生产里还必须加最大重试次数(通常 2~3 次足够)和总体截止时间(例如用户请求 15 秒 SLA,到点就失败,不要因为重试拖成 1 分钟)。
为什么必须幂等:幂等 Key 通常由业务生成,形如 tenantId:userId:conversationId:messageId:attemptGroup。服务端先查 Key:已成功直接返回历史结果;正在生成则返回同一个流式任务订阅地址;失败且允许重试就创建新 attempt,但仍挂在同一个业务消息下。不做幂等会出两类事故——用户狂点“重新发送”导致后端创建多次模型调用;网关超时自动重试,而第一次其实已经成功落库,第二次又写了一条重复消息甚至重复扣款。
响应重复的处理:把一次用户消息下的多次调用区分为 message_id(用户可见)、attempt_id(系统可见)、provider_request_id(排查用)、stream_sequence(增量片段序号,用于去重补发),落库时只允许一个 attempt 成为 final,其余保留为诊断记录且不参与下一轮上下文,避免污染 Prompt。
题目与答案就在本页;收藏、批注和错题重练在应用内