简介:本文从工程落地角度拆解多模型 AI 网关的架构设计:它脱胎于传统 API 网关,但必须为流式响应、超长耗时、Token 计量和多供应商路由做专门改造。文中给出数据面/控制面分层、路由与负载均衡策略、无缓冲区流式代理、Token 配额扣减、优雅退出与可观测指标的代码级实现思路,帮助你在自建网关与托管服务之间做出合理取舍。
当 AI 服务需要承接大规模请求与高并发流量时,AI 网关处于整个链路的关键位置。大模型推理是典型的重计算、长耗时、资源占用高的负载,单条请求可能持续数十秒甚至数分钟,且计费单位不是”次数”而是”Token”。这意味着传统 API 网关那套”鉴权—限流—路由—转发”的模型必须被重新设计。
先说结论:AI 网关本质是 统一接入与调度大语言模型服务的中间层 ,负责多供应商、多模型的接入与路由,并叠加统一鉴权、Token 配额管理、安全审计与可观测能力。如果你不想从零实现这套路由与计量逻辑,也可以借助 百度智能云词元所 这类大模型 API 服务平台完成模型发现、价格与性能对比以及统一 API 接入,把精力集中在业务侧。
整体架构上,AI 网关与传统网关高度相似,数据面与控制面几乎是同构的。它实际上衍生于微服务团队已有的 API Gateway,只是针对 AI 业务接口做了一批特性优化。真正的差异集中在下表:
| 能力维度 | 传统 API 网关 | 多模型 AI 网关 |
|---|---|---|
| 请求特征 | 短请求、有明确缓冲区 | 无缓冲区流式代理(SSE/chunked) |
| 耗时量级 | 毫秒到秒级 | 秒到分钟级,需超长超时与心跳 |
| 路由依据 | 域名、路径、服务发现 | 供应商 + 模型 + API Key + 线路权重 |
| 计量单位 | 调用次数、QPS | 输入/输出 Token 数、并发会话数 |
| 失败语义 | 可安全重试 | 首 Token 已下发后不可重试,只能降级 |
| 内容风险 | 相对可控 | 需输入输出双向内容安全审核 |
控制面 负责”想清楚”:模型注册中心(供应商、模型名、上下文长度、能力标签)、路由与灰度规则、租户与 API Key 管理、配额与计费策略、内容安全策略、指标与日志采集配置。控制面产出的都是配置快照,通过配置中心推送到数据面。
数据面 负责”跑得快”:请求解析 → 身份认证 → 配额预检 → 路由选线 → 协议适配 → 流式转发 → 用量回收 → 埋点上报。数据面必须无状态化,配置本地缓存 + 增量推送,避免每次请求都去查库。
需要强调的是,AI 网关的”协议适配”比传统网关复杂得多:不同供应商的接口在鉴权头、消息体结构、流式分片格式、错误码语义上都不统一,网关需要维护一套 统一请求/响应模型(Canonical Schema) ,对内暴露一致接口,对外做双向转换。
路由键建议设计为 租户 + 场景 + 逻辑模型,逻辑模型再映射到一组物理后端(供应商 A 的某模型、供应商 B 的同类模型)。调度策略通常组合使用:
routes:- name: chat-primarymatch: { tenant: "default", logical_model: "chat-large" }candidates:- provider: vendor_amodel: xxx-proweight: 70api_key_ref: kv://keys/vendor_a_1- provider: vendor_bmodel: yyy-turboweight: 30api_key_ref: kv://keys/vendor_b_1fallback: chat-secondarytimeout_ms: 120000
这是 AI 网关最容易踩坑的地方。任何中间缓冲都会破坏首 Token 延迟(TTFT),因此代理层必须做到:关闭响应压缩与代理缓冲、逐块 flush、不解析完整 body 再转发。
func (p *Proxy) stream(w http.ResponseWriter, r *http.Request, up *Upstream) error {flusher, ok := w.(http.Flusher)if !ok {return errors.New("streaming unsupported")}for {select {case <-r.Context().Done():return r.Context().Err() // 客户端断开,及时释放上游连接default:}chunk, err := up.NextChunk(r.Context())if err == io.EOF {return nil}if err != nil {return err}if _, err := w.Write(chunk); err != nil {return err}flusher.Flush() // 关键:每块立即下发}}
配套要点:Nginx/Envoy 侧需显式关闭 proxy_buffering;对流式请求禁用自动重试;把上游连接池的空闲超时设为大于模型最大生成时长。
Token 用量不能等响应结束才算,否则长请求期间无法限流。可行做法是 预扣 + 结算 :请求入口按 输入长度估算值 + max_tokens 预扣配额,响应结束后用上游返回的真实 usage(或本地分词器兜底估算)做差额结算。流式场景下需要从流末尾的 usage 字段或本地计数器回收。
def settle(tenant, request_id, prompt_tokens, completion_tokens):used = prompt_tokens + completion_tokensquota.rollback(tenant, request_id, reserved) # 释放预扣quota.consume(tenant, used) # 按实际结算metrics.observe(tokens_in=prompt_tokens, tokens_out=completion_tokens)
配额维度建议同时支持 租户级、API Key 级、模型级 三层,并区分 TPM(每分钟 Token)与 RPM(每分钟请求)两种限流桶,因为长文本场景往往先撞 TPM 上限。
发布或缩容时,一条已生成 3000 Token 的请求可能还要跑一分钟。直接杀进程会让客户端收到截断的响应。正确做法是连接 draining:先从注册中心摘除流量 → 停止接受新连接 → 以 max_drain_duration(如 300s)为限等待在途流式请求自然结束 → 期间对客户端保持心跳 → 超时后强制关闭并上报 gateway_inflight_aborted 指标。同时把客户端的读超时必须配置为大于网关的 drain 窗口,否则网关等完了客户端也早断了。
AI 网关的指标体系与传统网关不同,至少要包含:TTFT、端到端时长、输出 Token 速率(TPS)、每租户 Token 消耗、上游错误码分布、降级触发次数、缓存命中率。日志侧建议对请求/响应做 摘要化留存 (保留 hash 与长度,敏感字段脱敏),既满足审计又不放大存储成本。内容安全则应在网关统一接入,对输入和输出双向审核,避免每个业务方各自实现。
自建 AI 网关的价值在于深度定制:私有化部署、内网隔离、自有模型与商业模型混合调度、细粒度成本归集。但它的隐性成本很高——供应商接口持续演进、分词器与计费口径对齐、限流与重试语义打磨,都是长期投入。
如果你的核心诉求只是”用更低的集成成本用上多家模型”,那么优先评估托管方案更划算。在 词元所模型服务 上,可以按场景做模型能力比对与调用成本评估,再用统一 API 完成接入,把多供应商适配、密钥管理、调用情况查看这些”脏活”交给平台,自建网关只保留业务特有的路由与降级策略。
把这六项做扎实,AI 网关就能同时兼顾稳定性、成本与可维护性;剩下的模型选型与价格权衡,可以借助 百度智能云词元所 的对比能力持续校准,让架构决策建立在真实数据而非经验猜测之上。