简介:AI 网关不是给传统 API 网关换个名字,而是把流量治理、鉴权、配额、负载均衡这套能力平移到 LLM 调用链上,并针对流式响应、超长耗时、Token 计量三件事重做一遍。本文给出数据面/控制面分层架构、无缓冲流式代理、多线路多 Key 调度与成本治理的可落地实现,并顺带解决"接了五家模型之后怎么选、怎么算成本"的问题。
AI 网关是统一接入和调度大语言模型服务的系统,支持多供应商、多模型、负载均衡调度,同时具备统一鉴权、Token 配额管理、安全审计与可观测能力。它和微服务体系里的 API Gateway 在数据面、控制面上几乎同构——真正需要重写的只有三处: 流式转发、超长连接生命周期、Token 维度的计量与限额 。
如果你正处在”要接第二家、第三家模型”的阶段,除了网关本身,选型与成本核算同样关键。可以先在 百度智能云词元所 上对比不同大模型的能力边界与调用成本,再决定哪些模型进主线路、哪些做降级备份,避免网关配置写完才发现线路选错。
| 维度 | 传统 API 网关 | AI 网关 |
|---|---|---|
| 请求耗时 | 毫秒~秒级 | 秒~分钟级,需分层超时 |
| 响应形态 | 一次性完整响应 | SSE / 流式分块为主 |
| 计量单位 | 请求数、QPS | Token(prompt / completion) |
| 限流维度 | QPS、并发 | RPM + TPM 双维度 |
| 负载均衡依据 | 连接数、延迟 | 剩余配额、价格、前缀缓存亲和 |
| 失败处理 | 重试、熔断 | 跨供应商降级、模型回退 |
| 安全重点 | 参数校验 | 内容合规 + 提示注入 + 数据脱敏 |
AI 网关的整体架构和传统 API 网关类似,数据面和控制面有几乎相同的设计。它通常衍生于既有的 API Gateway,在其基础上做 AI 业务接口的特性优化:无缓冲区的请求代理、域名与服务发现的混合调度、AI 超长响应时间请求的优雅退出。
数据面(同步链路,追求低延迟)
审计层:请求响应双向留痕、敏感信息脱敏
控制面(异步链路,追求可配置)
控制面产出的路由表与策略快照,通过配置中心推送到数据面节点,本地缓存 + 增量失效,避免每次请求都去查配置。
这是最容易踩坑的一环。Nginx 默认 proxy_buffering on,网关框架默认也会先聚合响应体,结果就是”接口是流式的,前端体验是伪流式的”——用户要等十几秒才看到第一个字。
func (p *Proxy) ServeHTTP(w http.ResponseWriter, r *http.Request) {flusher, ok := w.(http.Flusher)if !ok {http.Error(w, "streaming unsupported", 500)return}w.Header().Set("Content-Type", "text/event-stream")w.Header().Set("Cache-Control", "no-cache")w.Header().Set("X-Accel-Buffering", "no") // 关闭 Nginx 缓冲ctx, cancel := context.WithCancel(r.Context())defer cancel()up, cancelUp, err := p.pickAndForward(ctx, r) // 选路 + 转发if err != nil {p.failover(ctx, w, r) // 尚未下发任何字节时才允许降级return}defer cancelUp()// 客户端断开 -> 立即取消上游,避免继续烧 tokengo func() {<-ctx.Done()cancelUp()}()buf := make([]byte, 4096)for {n, rerr := up.Body.Read(buf)if n > 0 {if _, werr := w.Write(buf[:n]); werr != nil {return}flusher.Flush() // 逐块下发,决定 TTFTp.meter.Accumulate(buf[:n])}if rerr != nil {break}}}
两个细节值得强调: 客户端断连必须传导到上游 ,否则用户关掉页面,模型还在生成,Token 白烧; 降级只在首字节下发前有效 ,一旦 SSE 已经开始推送,重试会导致内容重复。
单次 LLM 请求可能持续数分钟,用统一的 3 秒超时是灾难。建议拆成三层:
max_tokens × 单token耗时估值 × 2优雅退出指网关节点下线时,不再接新请求,但给已在途的长请求留出 drain 窗口,配合就绪探针摘流,避免滚动发布把用户对话截断。
公有云厂商模型多以 HTTPS 域名暴露,私有化部署的推理服务走服务发现,两者需要在同一层里统一抽象。实践中把 target 抽象为 域名直连 | K8s Service | 内网 IP 列表 三种类型,权重与健康检查策略一致,只是解析方式不同。
计量不能靠数响应字节数,不同分词器下误差很大。正确做法是优先取响应体里的 usage 字段,缺失时本地估算兜底:
def resolve_usage(resp: dict, req: dict) -> dict:u = resp.get("usage")if u and u.get("total_tokens"):return u # 权威口径return { # 兜底估算,需标记为 estimated"prompt_tokens": count_tokens(req["messages"]),"completion_tokens": count_tokens(resp["content"]),"estimated": True,}
配额用租户 + 模型双维度令牌桶,RPM 防突发、TPM 控总量。这里要注意:TPM 是滑动窗口累计,必须在流式读取过程中实时扣减,等响应结束再扣会让并发请求全部穿透限额。
AI 网关的负载均衡需要按提供商多线路、多模型和 API Key 灵活路由,适用于多模型接入、多租户等复杂场景。轮询在长请求场景下会导致严重倾斜——三个 60 秒的请求压在同一 Key 上,其他 Key 全程空闲。
建议用加权打分选路:
score = w1 × 剩余配额比例 # 避免打满单 Key 触发 429+ w2 × 线路健康度 # 近期成功率、TTFT 分位值+ w3 × 成本因子 # 同等效果下优先低价模型+ w4 × 前缀缓存亲和度 # 同会话粘同一节点,命中 KV cache
其中 w4 常被忽略但收益明显:多轮对话把同一会话哈希到同一后端,能显著提升前缀缓存命中率,直接降低 prompt token 的实际计费与首字延迟。
除常规 QPS、错误率、P99 延迟外,至少要补这几个:
| 指标 | 用途 |
|---|---|
| TTFT | 用户感知的”卡不卡” |
| 输出 TPS | 判断后端是否被限流 |
| prompt/completion token 分布 | 成本归因、异常调用发现 |
| 缓存命中率 | 验证亲和策略是否生效 |
| 降级触发次数 | 评估主线路质量 |
| 单会话累计消耗 | 租户配额与风控 |
日志侧务必对 messages 做脱敏与采样,全量留存对话内容既有合规风险,存储成本也不低。
网关解决”怎么调得稳”,但”该调哪个”是上游问题。模型注册表里的单价、上下文长度、能力标签如果靠人工维护,很快就会过期。一个实用做法是把选型与比价环节放到 词元所模型服务 这类平台上完成:先按需查模型能力与适用场景,再对比调用成本与性能表现,把结论固化成网关里的路由权重和降级链。多模型统一 API 接入的方式也能减少适配层代码量,让网关只需对接一套协议。
落地顺序建议:先接一家主模型跑通流式链路 → 补计量与配额 → 再接第二家做降级 → 最后上打分调度和成本看板。反过来先搭复杂调度框架,往往会在协议适配上耗掉全部精力。
AI 网关的本质是把不确定性封装起来:上游模型会变、会限流、会涨价,而网关让业务代码只面对一个稳定的统一接口。把流式、计量、降级这三件事做扎实,多模型接入就只是配置问题,而不是架构问题。