概述

重试策略用于在后端服务返回特定错误时，由网关自动发起重试，提升请求的最终成功率。配合超时策略一起使用，可在后端瞬时抖动或个别节点不可用时显著降低对调用方的影响。

重要

重试会放大下游负载。请结合后端业务的幂等性、容量与超时设置合理配置重试次数与触发条件，避免引发雪崩。

适用场景

下列场景下推荐配置重试策略：

• 后端节点偶发抖动：当后端有多个节点时，某个节点偶发不可用或返回 5xx，重试可让请求自动落到健康节点，提高成功率。
• 网络瞬时不稳：连接断开、TCP RESET 等瞬时网络问题，可通过 connect-failure / reset 等条件触发重试。
• gRPC 服务对接：gRPC 调用中常见的 unavailable、resource-exhausted 等状态码，可作为重试条件，让网关自动绕开瞬时故障。
• 关键链路兜底：对于可幂等重试的关键业务接口（如读取类查询），打开重试可在不改造客户端的情况下提升整体可用性。

不推荐配置重试的场景

写入类、计费类等非幂等接口请谨慎开启重试；若必须开启，请确保后端实现了幂等保护，避免重复执行造成数据不一致。

操作步骤

1. 登陆百度智能云 AI 原生网关控制台。
2. 在顶部导航栏选择目标地域，并在实例列表中单击目标实例 ID，进入实例详情页。
3. 在左侧导航栏选择 AI 服务 > 模型推理服务。

4. 创建或编辑一个模型推理服务:

   • 创建场景：单击列表上方的 创建推理服务。
   • 编辑场景：在目标服务的操作列单击 编辑。
5. 滚动到页面底部的 高级策略 模块，在 重试策略 下勾选 开启重试。

6. 配置以下参数：

   配置项	说明
   重试条件	必填，至少选择一条。满足任一所选条件时触发重试，支持多选。可选条件如下： 5xx：后端返回任何 5xx 响应，或发生连接断开、重置、读取超时事件。 reset：发生连接断开、重置、读取超时事件。 connect-failure：请求建立连接失败。 refused-stream：后端服务以 REFUSED_STREAM 错误代码重置连接。 retriable-status-codes：后端响应命中可重试的 HTTP 状态码。 cancelled：后端 gRPC 服务响应头中的状态码为 cancelled。 deadline-exceeded：后端 gRPC 服务响应头中的状态码为 deadline-exceeded。 internal：后端 gRPC 服务响应头中的状态码为 internal。 resource-exhausted：后端 gRPC 服务响应头中的状态码为 resource-exhausted。 unavailable：后端 gRPC 服务响应头中的状态码为 unavailable。
   重试次数	必填。单次请求最多额外重试的次数，取值范围 1–100，默认 3 次。

7. 配置完成后，单击页面底部的 发布，策略发布后即时生效。