配置超时策略 概述 超时策略用于限制网关向后端服务发起请求并等待响应的最长时间。当后端在指定时间内未返回响应时,网关将主动中断本次请求,避免连接长时间挂起占用资源。 适用场景 下列场景下推荐配置超时策略: 避免推理任务长尾拖垮网关 :某些大模型在长上下文或复杂推理任务下耗时显著高于平均水平,开启超时可防止个别长尾请求占用大量连接、影响整体吞吐。
配置重试策略 概述 重试策略用于在后端服务返回特定错误时,由网关自动发起重试,提升请求的最终成功率。配合超时策略一起使用,可在后端瞬时抖动或个别节点不可用时显著降低对调用方的影响。 重要 重试会放大下游负载。请结合后端业务的幂等性、容量与超时设置合理配置重试次数与触发条件,避免引发雪崩。
配置自定义请求头 概述 自定义请求头策略用于在网关将请求转发到后端服务之前,向请求中注入额外的 Header 字段。 重要 自定义请求头采用 覆盖式 写入: 若客户端请求中 未携带 对应 Key,则在转发前向请求中 新增 该 Header。 若客户端请求中 已携带 同名 Key,则该 Header 的值会被网关侧配置的值 覆盖 ,客户端原始值不会到达后端。
适用场景 下列场景下推荐配置自定义响应头: 配合跨域策略暴露自定义 Header :网关或后端注入了业务自定义 Header(如 X-Trace-Id ),需要让浏览器跨域时也能读取,可同时配置「跨域策略」中的 expose_headers 与本策略。
如何配置内网 DNS 域名解析 概述 AI 原生网关支持添加自定义域名,但添加域名不会自动进行 DNS 解析,您需要自行完成域名到网关实例访问入口之间的解析设置。本文介绍如何配置内网 DNS 域名解析,配置之后在内网环境中也可以通过公网域名访问到网关。 步骤一:创建自定义域名 登陆百度智能云 AI 原生网关控制台 ,在网关实例列表中点击目标实例名称进入实例详情页面。
当前窗口内累计消耗超过该上限后,命中该规则的请求将被网关拒绝,直到窗口重置。 如需删除某条限流规则,单击对应行操作列的 删除 (至少保留 1 条)。 配置完成后,单击页面底部的 发布 ,策略发布后即时生效。
Plain Text 复制 1 请帮我创建一个 AI 原生网关 的 MCP 服务器配置。
目标跟踪服务器端SDK简介 本文档主要说明定制化模型发布后获得的服务器端SDK如何使用,如有疑问可以通过以下方式联系我们: 在百度云控制台内 提交工单 进入 EasyDL社区交流 ,与其他开发者进行互动 SDK说明 目标跟踪服务器端SDK支持Linux操作系统。
如何发布服务器端SDK 训练完毕后,可以在左侧导航栏中找到【EasyEdge本地部署】,选择通用【服务器】,点击【发布新服务】,进入发布界面。 step1.部署方式选择服务器,集成方式选择服务器端后,选择需要发布的模型及版本,勾选业务场景需要的操作系统与硬件芯片。设置完毕点击下一步 step2. 填写完基本信息之后,点击 提交 ,即可将模型封装成可离线计算的服务器端SDK。
图像分类服务器端SDK简介 本文档主要说明定制化模型发布后获得的服务器端SDK如何使用,如有疑问可以通过以下方式联系我们: 在百度智能云控制台内 提交工单 进入 EasyDL社区交流 ,与其他开发者进行互动 SDK说明 图像分类服务器端SDK支持Linux、Windows两种操作系统。