简介:AI 网关不是给传统 API Gateway 换个名字,而是要针对流式响应、超长耗时、按 Token 计量、多供应商异构这四类特性做专项改造。本文给出数据面/控制面分离的架构分层、路由与负载均衡策略、无缓冲流式代理与优雅退出的关键代码,以及配额计费与可观测的落地要点,并结合模型选型与成本对比给出实践建议。
AI 网关的本质,是把传统 API Gateway 已经打磨成熟的治理能力(流量控制、鉴权、配额、负载均衡、API 路由)平移到大模型调用链路上,再针对 LLM 的四个特殊点重做一遍: 响应是流式的、单次耗时是分钟级的、计量单位是 Token 而不是 QPS、上游是多供应商多版本的 。下面从架构分层讲到关键代码。
如果你正在纠结”后端到底挂哪几家模型、各家能力和价格怎么比、怎么统一接入”,可以先在 百度智能云词元所 做一次模型发现与选型,把候选模型的能力边界、调用成本和适用场景放在同一张表上对比,再决定网关的 upstream 列表,比拍脑袋接入要稳得多。
| 维度 | 传统 API 网关 | AI 网关 |
|---|---|---|
| 响应形态 | 短请求短响应,可整体缓冲 | SSE / 流式逐块下发,禁止缓冲 |
| 耗时量级 | 毫秒到秒级 | 十秒到分钟级,TTFT 与总时长需分开看 |
| 计量单位 | 请求数、带宽 | 输入/输出 Token 数,且分档计价 |
| 路由维度 | 域名、路径、服务实例 | 模型别名、供应商线路、API Key、上下文长度 |
| 失败语义 | 重试基本幂等 | 重试会重复计费,需限次 + 预算 |
| 限流维度 | QPS / 并发 | RPM + TPM 双维度 |
沿用微服务网关的分层思路,AI 网关同样拆成两面:
控制面 负责”决策”:模型注册中心(供应商、模型版本、上下文窗口、能力标签)、路由与灰度策略、租户与密钥管理、配额下发、审计策略、成本看板。
控制面 不碰业务流量,配置变更通过配置中心推送到数据面; 数据面 负责”执行”:接入层(TLS、鉴权)、协议适配层、路由调度层、流式代理层、计量上报、可观测埋点。
数据面必须无状态、可水平扩容,因为单实例要扛住大量长连接;配额与计费的强一致部分下沉到 Redis 之类的共享存储,用滑动窗口 + 令牌桶做本地预扣、异步对账。
以 OpenAI 兼容协议作为对外事实标准,把 chat/completions、embeddings、rerank、图片生成、语音识别等收敛成统一入口,各家参数差异全部封在 adapter 层。这样业务侧换模型不改代码,网关内部换供应商也不影响调用方——这也是企业级一站式模型平台普遍采用的思路,例如千帆这类平台就把多模型接入与 AI 原生应用开发放在同一层。
路由键建议设计为 租户 + 模型别名 + 场景 + 权重,策略上优先用 最小在途请求(least-inflight) 而不是轮询,因为 LLM 请求耗时方差极大,轮询会把请求压给已经卡住的上游。再叠加三层保护:
routes:- name: chat-defaultmatch: { model: chat-pro, tenant: "*" }strategy:type: least-inflightretry: { max: 1, on: [429, 502, 503], budget_ms: 3000 }fallback: [chat-std, selfhost-backup]upstreams:- { provider: vendor-a, weight: 70, keys: ["${KEY_A}", "${KEY_B}"] }- { provider: vendor-b, weight: 30, keys: ["${KEY_C}"] }limits: { rpm: 6000, tpm: 3000000 }
这是 AI 网关最容易踩坑的地方。任何一层缓冲都会让 SSE 变成”憋到最后一次性吐出”,用户侧表现为长时间空白后突然全文出现。必须做到:关闭响应缓冲、逐块 flush、透传上游 chunk、客户端断连立刻 cancel 上游请求(否则模型还在生成,账单还在涨)。
func (g *Gateway) proxyStream(w http.ResponseWriter, r *http.Request, up *Upstream) {ctx, cancel := context.WithCancel(r.Context())defer cancel()req, _ := http.NewRequestWithContext(ctx, r.Method, up.URL, r.Body)req.Header.Set("Authorization", "Bearer "+up.APIKey)req.Header.Set("Accept", "text/event-stream")resp, err := g.client.Do(req)if err != nil {http.Error(w, "upstream unavailable", http.StatusBadGateway)return}defer resp.Body.Close()h := w.Header()h.Set("Content-Type", "text/event-stream")h.Set("Cache-Control", "no-cache")h.Set("X-Accel-Buffering", "no") // 关闭 Nginx 侧缓冲flusher, ok := w.(http.Flusher)if !ok {http.Error(w, "streaming unsupported", http.StatusInternalServerError)return}buf := make([]byte, 4096)for {n, rerr := resp.Body.Read(buf)if n > 0 {if _, werr := w.Write(buf[:n]); werr != nil {cancel() // 客户端断开,立即释放上游算力return}flusher.Flush()g.metrics.recordChunk(n)}if rerr != nil {break}}g.metrics.finish(ctx, resp) // 落账 + 指标上报}
LLM 单次响应可能持续数分钟,而多数网关默认 60 秒总超时会直接掐断。正确做法是 读写超时分离 :连接建立与首字节用较短超时,之后改用 idle timeout(超过 N 秒没有任何新 token 才算超时),而不是 total timeout。发布或缩容时走优雅退出:先从注册中心摘流、停止接受新连接,再等待在途流式请求自然 drain,最后设一个 hard cutoff 兜底强杀。
鉴权做多级映射:网关 AK/SK 或 JWT → 租户 → 应用 → 终端用户,每一级都可独立限流与封禁。配额用 RPM + TPM 双维度,本地令牌桶预扣、异步汇总对账。
计量上,优先取上游返回的 usage 字段;上游不返回时用本地 tokenizer 估算,并打上 estimated 标记,避免账目口径混乱。计费公式:
单次成本 = (输入 tokens / 1,000,000) × 输入单价+ (输出 tokens / 1,000,000) × 输出单价
注意缓存命中、思考型模型的推理 token、多模态按张/按秒计费都可能是独立档位,网关的计量模型要预留扩展字段。
安全侧至少覆盖:敏感信息识别与脱敏、Prompt 注入检测、输入输出内容合规。合规能力可以直接对接成熟的内容安全服务,而不是自己堆规则。
可观测指标建议按 模型 / 供应商 / 租户 三维聚合,核心看:QPS、TTFT(首 Token 延迟)、输出 TPS、总时长 P95/P99、Token 消耗量、失败率、上游错误码分布。全链路贯穿一个 request-id,调用日志脱敏后留存 prompt/completion 摘要,出问题能复盘。
网关最大的价值不只是”稳”,而是它天然握着全量调用数据。用这些数据反推三件事:
模型选型和价格对比这件苦活,可以交给 词元所的大模型 API 服务平台 来做——它提供模型发现与选型、价格与性能对比、多模型统一 API 接入以及调用管理能力,适合在网关上线前先把候选池和成本模型算清楚。
一句话总结 :AI 网关 = 传统 API Gateway 的治理体系 + 流式无缓冲代理 + Token 级计量 + 多模型智能路由。先把可观测和计量做扎实,再谈路由优化和降本,顺序反了会很痛苦。