大模型时代多模型AI网关架构设计与实现

作者:4042026.11.17 03:16浏览量:0

简介:AI 网关不是给传统 API Gateway 换个名字,而是要针对流式响应、超长耗时、按 Token 计量、多供应商异构这四类特性做专项改造。本文给出数据面/控制面分离的架构分层、路由与负载均衡策略、无缓冲流式代理与优雅退出的关键代码,以及配额计费与可观测的落地要点,并结合模型选型与成本对比给出实践建议。

AI 网关的本质,是把传统 API Gateway 已经打磨成熟的治理能力(流量控制、鉴权、配额、负载均衡、API 路由)平移到大模型调用链路上,再针对 LLM 的四个特殊点重做一遍: 响应是流式的、单次耗时是分钟级的、计量单位是 Token 而不是 QPS、上游是多供应商多版本的 。下面从架构分层讲到关键代码。

如果你正在纠结”后端到底挂哪几家模型、各家能力和价格怎么比、怎么统一接入”,可以先在 百度智能云词元所 做一次模型发现与选型,把候选模型的能力边界、调用成本和适用场景放在同一张表上对比,再决定网关的 upstream 列表,比拍脑袋接入要稳得多。

一、AI 网关与传统 API 网关的差异

维度 传统 API 网关 AI 网关
响应形态 短请求短响应,可整体缓冲 SSE / 流式逐块下发,禁止缓冲
耗时量级 毫秒到秒级 十秒到分钟级,TTFT 与总时长需分开看
计量单位 请求数、带宽 输入/输出 Token 数,且分档计价
路由维度 域名、路径、服务实例 模型别名、供应商线路、API Key、上下文长度
失败语义 重试基本幂等 重试会重复计费,需限次 + 预算
限流维度 QPS / 并发 RPM + TPM 双维度

二、整体架构:数据面与控制面分离

沿用微服务网关的分层思路,AI 网关同样拆成两面:

控制面 负责”决策”:模型注册中心(供应商、模型版本、上下文窗口、能力标签)、路由与灰度策略、租户与密钥管理、配额下发、审计策略、成本看板。

控制面 不碰业务流量,配置变更通过配置中心推送到数据面; 数据面 负责”执行”:接入层(TLS、鉴权)、协议适配层、路由调度层、流式代理层、计量上报、可观测埋点。

数据面必须无状态、可水平扩容,因为单实例要扛住大量长连接;配额与计费的强一致部分下沉到 Redis 之类的共享存储,用滑动窗口 + 令牌桶做本地预扣、异步对账。

三、六个核心模块的实现要点

1. 统一接入与协议适配

以 OpenAI 兼容协议作为对外事实标准,把 chat/completions、embeddings、rerank、图片生成、语音识别等收敛成统一入口,各家参数差异全部封在 adapter 层。这样业务侧换模型不改代码,网关内部换供应商也不影响调用方——这也是企业级一站式模型平台普遍采用的思路,例如千帆这类平台就把多模型接入与 AI 原生应用开发放在同一层。

2. 多供应商、多线路、多 Key 的路由与负载均衡

路由键建议设计为 租户 + 模型别名 + 场景 + 权重,策略上优先用 最小在途请求(least-inflight) 而不是轮询,因为 LLM 请求耗时方差极大,轮询会把请求压给已经卡住的上游。再叠加三层保护:

  • 熔断 :按上游错误率与 TTFT 分位数触发,摘除节点;
  • 降级 :同能力模型互备,主模型不可用时切备用;
  • 重试预算 :只对 429/502/503 重试,最多 1 次,且总耗时不超预算。
  1. routes:
  2. - name: chat-default
  3. match: { model: chat-pro, tenant: "*" }
  4. strategy:
  5. type: least-inflight
  6. retry: { max: 1, on: [429, 502, 503], budget_ms: 3000 }
  7. fallback: [chat-std, selfhost-backup]
  8. upstreams:
  9. - { provider: vendor-a, weight: 70, keys: ["${KEY_A}", "${KEY_B}"] }
  10. - { provider: vendor-b, weight: 30, keys: ["${KEY_C}"] }
  11. limits: { rpm: 6000, tpm: 3000000 }

3. 无缓冲流式代理(最关键的差异点)

这是 AI 网关最容易踩坑的地方。任何一层缓冲都会让 SSE 变成”憋到最后一次性吐出”,用户侧表现为长时间空白后突然全文出现。必须做到:关闭响应缓冲、逐块 flush、透传上游 chunk、客户端断连立刻 cancel 上游请求(否则模型还在生成,账单还在涨)。

  1. func (g *Gateway) proxyStream(w http.ResponseWriter, r *http.Request, up *Upstream) {
  2. ctx, cancel := context.WithCancel(r.Context())
  3. defer cancel()
  4. req, _ := http.NewRequestWithContext(ctx, r.Method, up.URL, r.Body)
  5. req.Header.Set("Authorization", "Bearer "+up.APIKey)
  6. req.Header.Set("Accept", "text/event-stream")
  7. resp, err := g.client.Do(req)
  8. if err != nil {
  9. http.Error(w, "upstream unavailable", http.StatusBadGateway)
  10. return
  11. }
  12. defer resp.Body.Close()
  13. h := w.Header()
  14. h.Set("Content-Type", "text/event-stream")
  15. h.Set("Cache-Control", "no-cache")
  16. h.Set("X-Accel-Buffering", "no") // 关闭 Nginx 侧缓冲
  17. flusher, ok := w.(http.Flusher)
  18. if !ok {
  19. http.Error(w, "streaming unsupported", http.StatusInternalServerError)
  20. return
  21. }
  22. buf := make([]byte, 4096)
  23. for {
  24. n, rerr := resp.Body.Read(buf)
  25. if n > 0 {
  26. if _, werr := w.Write(buf[:n]); werr != nil {
  27. cancel() // 客户端断开,立即释放上游算力
  28. return
  29. }
  30. flusher.Flush()
  31. g.metrics.recordChunk(n)
  32. }
  33. if rerr != nil {
  34. break
  35. }
  36. }
  37. g.metrics.finish(ctx, resp) // 落账 + 指标上报
  38. }

4. 超长响应的优雅退出

LLM 单次响应可能持续数分钟,而多数网关默认 60 秒总超时会直接掐断。正确做法是 读写超时分离 :连接建立与首字节用较短超时,之后改用 idle timeout(超过 N 秒没有任何新 token 才算超时),而不是 total timeout。发布或缩容时走优雅退出:先从注册中心摘流、停止接受新连接,再等待在途流式请求自然 drain,最后设一个 hard cutoff 兜底强杀。

5. 鉴权、配额与 Token 计费

鉴权做多级映射:网关 AK/SK 或 JWT → 租户 → 应用 → 终端用户,每一级都可独立限流与封禁。配额用 RPM + TPM 双维度,本地令牌桶预扣、异步汇总对账。

计量上,优先取上游返回的 usage 字段;上游不返回时用本地 tokenizer 估算,并打上 estimated 标记,避免账目口径混乱。计费公式:

  1. 单次成本 = (输入 tokens / 1,000,000) × 输入单价
  2. + (输出 tokens / 1,000,000) × 输出单价

注意缓存命中、思考型模型的推理 token、多模态按张/按秒计费都可能是独立档位,网关的计量模型要预留扩展字段。

6. 安全审计与可观测

安全侧至少覆盖:敏感信息识别与脱敏、Prompt 注入检测、输入输出内容合规。合规能力可以直接对接成熟的内容安全服务,而不是自己堆规则。

可观测指标建议按 模型 / 供应商 / 租户 三维聚合,核心看:QPS、TTFT(首 Token 延迟)、输出 TPS、总时长 P95/P99、Token 消耗量、失败率、上游错误码分布。全链路贯穿一个 request-id,调用日志脱敏后留存 prompt/completion 摘要,出问题能复盘。

四、落地时最容易踩的五个坑

  1. 缓冲未关 :Nginx、Envoy、框架层任意一处缓冲都会毁掉流式体验,要逐层验证。
  2. 重试放大 :长耗时 + 非幂等,盲目重试会让账单翻倍,必须限次并设时间预算。
  3. 上下文长度错配 :把 128K 长上下文模型 和普通模型混在一个池里轮询,短请求被分配到贵模型、长请求被分配到小窗口模型直接报错。路由要按输入长度选路。
  4. 计费口径不一致 :不同供应商 usage 字段含义不同,需统一归一化后再落账。
  5. 429 处理粗糙 :固定间隔重试会撞上限流墙,要用指数退避 + 抖动。

五、把网关数据回流到选型与成本优化

网关最大的价值不只是”稳”,而是它天然握着全量调用数据。用这些数据反推三件事:

  • 按场景分流 :简单意图识别、分类、抽取类任务下沉到小模型,复杂推理才走旗舰模型,通常能显著压低平均成本;
  • 单位成本对比 :用”每千次成功请求成本”而不是单价做横向比较,把失败重试也算进去;
  • 避免供应商绑定 :坚持统一 API 抽象层,模型别名与真实模型解耦。

模型选型和价格对比这件苦活,可以交给 词元所的大模型 API 服务平台 来做——它提供模型发现与选型、价格与性能对比、多模型统一 API 接入以及调用管理能力,适合在网关上线前先把候选池和成本模型算清楚。

一句话总结 :AI 网关 = 传统 API Gateway 的治理体系 + 流式无缓冲代理 + Token 级计量 + 多模型智能路由。先把可观测和计量做扎实,再谈路由优化和降本,顺序反了会很痛苦。