应用场景
场景一:企业 API 统一接入与治理
业务痛点:企业内部服务与对外开放能力各自暴露入口,认证、限流、域名、审计等治理能力重复建设,缺乏统一的流量入口与管控平面。
解决方案:
- 创建 API 网关专享版实例,作为企业南北向流量的统一入口,支持公网(EIP)与私网(VPC 服务网卡)双通道接入。
- 通过 基础服务 + HTTP API 代理企业各后端服务(域名后端 / IP 后端),统一配置请求路径与方法。
- 为不同调用方创建 消费者(API-KEY 或 AK/SK 凭证),按服务级别或 API 级别授权。
- 通过 流量管控插件 设置限流策略,绑定 自定义域名 与 SSL 证书对外提供 HTTPS 服务。
- 通过业务监控、日志分析实现统一审计与问题定位。
场景二:多模型统一接入
业务痛点:企业 AI 应用需要同时调用多家模型服务(如千帆平台模型、第三方模型 API、自建开源模型),各家接口格式、认证方式不同,业务代码耦合大量适配逻辑,切换模型成本高。
解决方案:
- 为每个模型供应商创建 AI 模型后端,配置服务地址、模型协议(OpenAI 兼容 / Anthropic 兼容 / 原生协议)与 API-Key。
- 创建 Model 服务,选择模型场景(文本生成、Embedding 等)与服务协议,网关自动生成标准的预置路由(如
/v1/chat/completions)。 - 创建 Model API,选择多后端策略(按模型名称路由),将不同模型名称的请求分发到对应后端。
业务方只需对接网关的统一 OpenAI 兼容接口,通过请求中的 model 字段即可访问任意已接入的模型服务。
场景三:新模型灰度发布
业务痛点:需要将线上流量从旧模型平滑迁移到新模型,直接切换风险高,出现问题难以回滚。
解决方案:在 Model API 中使用 多后端(按比例) 策略,先将 5% 流量分配给新模型后端,结合业务监控(成功率、响应时间)与调用链分析验证效果,逐步调高比例直至全量。同时配置 Fallback 兜底后端,新模型异常时自动切换到稳定模型,保障业务连续性。
场景四:企业内部模型资源统一管控与成本分摊
业务痛点:企业内多个团队共用模型资源,API-Key 分散管理存在泄露风险,各团队用量不透明,成本无法分摊。
解决方案:
- 模型 API-Key 统一托管在网关后端配置中,各团队不接触真实密钥。
- 为每个团队创建 消费者,分发独立的 API-KEY 或 AK/SK 凭证。
- 通过 授权管理 控制各团队可访问的服务与 API 范围。
- 通过 配额管理 设置各团队的请求数与 Token 配额上限,按天自动重置,防止超用。
- 为后端配置 Token 单价(区分输入、输出、命中缓存),在消费者 费用信息 中按时间段和后端维度查询各团队消费汇总,实现成本分摊。
场景五:Agent 应用统一代理
业务痛点:企业构建的 Agent 应用形态多样(HTTP、WebSocket),接入方式缺乏统一标准,难以实现集中化治理。
解决方案:通过 Agent 服务 + Agent API 将 Agent 应用统一接入网关,支持 HTTP 与 WebSocket 协议代理,复用网关的消费者鉴权、授权、限流插件与全链路观测能力,实现 Agent 应用的统一入口与治理。
场景六:传统 API 与 AI API 混合治理
业务痛点:企业同时存在传统 HTTP API 与 AI API,希望使用同一个网关统一管理。
解决方案:API 网关专享版的 基础服务(HTTP_SERVICE) 支持传统 HTTP API 代理,与 Model 服务、Agent 服务共存于同一实例,共享域名管理、消费者体系、插件体系与观测能力,避免多套网关并行维护。
评价此篇文章
