产品介绍

AI 原生网关（AI Gateway，AIGW） 是百度智能云专为云原生 Kubernetes 环境及大规模 AI 应用场景打造的新一代流量管理与调度基础设施。

深入融合了 AI 业务特性，提供零侵入式的 AI 服务代理、多策略流量调度以及模型统一管理能力。作为连接 AI 应用（如 AI Agent、Copilot）与底层服务（如大模型、传统微服务）的关键桥梁，AIGW 致力于帮助企业解决 AI 时代下的服务接入、协议转换、安全治理与可观测性难题，现已成为生产级 AI 服务必备组件。

核心概念

在使用 AI 原生网关进行配置和管理之前，请您熟悉以下基本概念。这些概念构成了网关流量调度与治理的基础。

产品优势

AI 原生，深度适配大模型场景

不同于传统 API 网关简单转发 HTTP 流量，AI 原生网关在设计上充分考虑大模型调用的特殊性。内置 Token 用量统计、基于模型名称的流量路由、多模型负载均衡等能力，让大模型 API 管理从"能用"升级为"好用"。无论是对接云端商业模型还是私有化部署的推理服务，均可统一纳管。

MCP 协议原生支持，AI Agent 开发提速

支持 MCP（Model Context Protocol）协议，原生适配 AI Agent 应用架构。支持将已有 HTTP RESTful 服务零改造转换为标准 MCP 接口，大幅降低 AI Agent 工具接入门槛。开发者无需关注 MCP 协议细节，专注业务逻辑即可快速构建 Agent 工具链。

一站式安全治理，开箱即用

提供 API Key 消费者认证、IP 白名单、外部认证插件等多层次安全能力，从网关入口统一收口安全策略，避免各业务团队重复建设鉴权逻辑。消费者配额管控（Token 用量 + 请求次数双维度）有效防止 API 滥用，降低模型调用成本失控风险。

灵活的流量调度能力，支撑多种工程实践

支持按比例分流和按模型名称路由两种策略，轻松实现多模型 A/B 测试、跨供应商容灾切换。

深度融合百度智能云生态

原生对接容器引擎 CCE、函数计算 CFC、微服务引擎 MSE、百度日志服务 BLS、云监控 Prometheus 等百度智能云核心产品，无缝集成现有云上基础设施，无需额外适配，降低整体运维复杂度。

可扩展的插件机制，满足定制化诉求

允许开发者以标准 Go 代码编写自定义插件并动态加载，扩展网关能力而无需重启服务。外部认证插件支持将鉴权逻辑委托给自建服务，满足企业级合规要求。

全面的可观测性，运维有数可依

内置 Prometheus 指标采集与网关资源监控大盘，覆盖请求量、延迟分布、错误率、Token 消耗等关键指标。结合告警规则，异常情况第一时间感知。

应用场景

场景一：企业 AI 能力统一开放平台

背景： 企业内部多个业务团队需要调用大模型 API，但希望统一管控调用入口、分配调用配额、审计使用情况。

方案： 通过 AI 原生网关创建统一的 AI API 入口，为每个业务团队创建独立消费者并分配 Token 配额，所有请求经由网关路由至后端模型服务。网关层统一记录访问日志，运营团队通过监控实时掌握各团队的 Token 消耗与调用趋势，有效控制大模型使用成本。

场景二：多模型 A/B 测试与灰度切换

背景： AI 产品团队希望在不影响线上用户的前提下，对比多个模型版本（如 DeepSeek V2 与 DeepSeek V3）的效果，并按比例逐步迁移流量。

方案： 在 AI 原生网关中配置多服务路由，将两个模型服务配置为目标后端，按 10%/90% 的比例进行流量分发。通过监控大盘持续对比两个版本的延迟和错误率，确认新模型稳定后逐步调整权重至 100%，完成无感知灰度切换。

场景三：AI Agent 工具服务统一接入

背景： 团队基于 MCP 协议构建 AI Agent，需要将企业内部已有的 REST API（如数据库查询接口、CRM 系统接口）暴露为 Agent 可调用的工具。

方案： 利用 AI 原生网关的"HTTP 转 MCP"功能，将现有 RESTful 接口零改造接入为 MCP 服务，无需修改后端代码。结合消费者认证，确保只有已授权的 Agent 应用才能调用对应工具，满足企业数据安全要求。

场景四：公有云模型服务 + 私有化推理的混合部署

背景： 企业出于成本和数据合规考虑，希望将对外服务流量路由至云端商业模型，同时将涉及敏感数据的请求路由至私有化部署的推理服务。

方案： 在 AI 原生网关中同时配置云端 AI 模型代理（如百度千帆、DeepSeek）和内网私有化推理服务两类后端，通过请求头规则或路径规则区分流量，实现公有云与私有化的混合调度。整体调用对上层应用完全透明，只需对接网关统一入口即可。

场景五：对外 API 商业化开放

背景： AI 服务提供商希望将自研模型 API 对外商业化销售，需要为不同客户分配独立的调用凭证、设置差异化的调用配额，并支持随时吊销某客户的访问权限。

方案： 通过 AI 原生网关的消费者管理功能，为每位客户创建独立消费者，分配专属 API Key 并设置对应的 Token 配额上限。客户凭 API Key 调用服务，网关自动完成身份校验与配额扣减。如需吊销权限，删除对应消费者即可立即生效，无需变更后端服务。

场景六：微服务架构下的 AI 能力集成

背景： 已有完整微服务体系（基于 CCE 容器化部署或 MSE 注册中心），希望在不改变现有架构的前提下，引入大模型推理能力并统一流量治理。

方案： AI 原生网关原生对接 CCE 容器引擎和 MSE 微服务引擎，可直接将已注册的 AI 推理服务发现并纳入路由管理。结合泳道功能实现灰度发布，利用已有监控体系打通可观测数据，真正做到 AI 能力与既有微服务架构的无缝融合。