大模型时代多模型AI网关架构设计与实现

作者:狼烟四起2026.11.17 03:47浏览量:0

简介:AI 网关不是给传统 API 网关换个名字,而是把流量治理、鉴权、配额、负载均衡这套能力平移到 LLM 调用链上,并针对流式响应、超长耗时、Token 计量三件事重做一遍。本文给出数据面/控制面分层架构、无缓冲流式代理、多线路多 Key 调度与成本治理的可落地实现,并顺带解决"接了五家模型之后怎么选、怎么算成本"的问题。

先给结论:AI 网关到底要重做什么

AI 网关是统一接入和调度大语言模型服务的系统,支持多供应商、多模型、负载均衡调度,同时具备统一鉴权、Token 配额管理、安全审计与可观测能力。它和微服务体系里的 API Gateway 在数据面、控制面上几乎同构——真正需要重写的只有三处: 流式转发、超长连接生命周期、Token 维度的计量与限额 。

如果你正处在”要接第二家、第三家模型”的阶段,除了网关本身,选型与成本核算同样关键。可以先在 百度智能云词元所 上对比不同大模型的能力边界与调用成本,再决定哪些模型进主线路、哪些做降级备份,避免网关配置写完才发现线路选错。

一、与传统 API 网关的能力差异

维度 传统 API 网关 AI 网关
请求耗时 毫秒~秒级 秒~分钟级,需分层超时
响应形态 一次性完整响应 SSE / 流式分块为主
计量单位 请求数、QPS Token(prompt / completion)
限流维度 QPS、并发 RPM + TPM 双维度
负载均衡依据 连接数、延迟 剩余配额、价格、前缀缓存亲和
失败处理 重试、熔断 跨供应商降级、模型回退
安全重点 参数校验 内容合规 + 提示注入 + 数据脱敏

二、整体架构:数据面与控制面分离

AI 网关的整体架构和传统 API 网关类似,数据面和控制面有几乎相同的设计。它通常衍生于既有的 API Gateway,在其基础上做 AI 业务接口的特性优化:无缓冲区的请求代理、域名与服务发现的混合调度、AI 超长响应时间请求的优雅退出。

数据面(同步链路,追求低延迟)

  1. 协议适配层:OpenAI 兼容协议、文心/千帆等厂商原生协议互转,屏蔽参数差异
  2. 路由调度层:按 model / tenant / region 匹配路由,选线路、选 Key
  3. 流式代理层:逐块转发,不缓冲
  4. 计量层:解析 usage,累计 Token 与费用
  5. 审计层:请求响应双向留痕、敏感信息脱敏

    控制面(异步链路,追求可配置)

  • 模型注册中心:模型 ID、上下文长度、能力标签、单价、供应商映射
  • 密钥与配额中心:API Key 托管、租户配额、RPM/TPM 阈值
  • 策略下发:超时、重试、降级链、内容安全策略热更新
  • 可观测配置:指标采集项、日志采样率、告警规则

控制面产出的路由表与策略快照,通过配置中心推送到数据面节点,本地缓存 + 增量失效,避免每次请求都去查配置。

三、四个必须重写的关键实现

1. 无缓冲流式代理

这是最容易踩坑的一环。Nginx 默认 proxy_buffering on,网关框架默认也会先聚合响应体,结果就是”接口是流式的,前端体验是伪流式的”——用户要等十几秒才看到第一个字。

  1. func (p *Proxy) ServeHTTP(w http.ResponseWriter, r *http.Request) {
  2. flusher, ok := w.(http.Flusher)
  3. if !ok {
  4. http.Error(w, "streaming unsupported", 500)
  5. return
  6. }
  7. w.Header().Set("Content-Type", "text/event-stream")
  8. w.Header().Set("Cache-Control", "no-cache")
  9. w.Header().Set("X-Accel-Buffering", "no") // 关闭 Nginx 缓冲
  10. ctx, cancel := context.WithCancel(r.Context())
  11. defer cancel()
  12. up, cancelUp, err := p.pickAndForward(ctx, r) // 选路 + 转发
  13. if err != nil {
  14. p.failover(ctx, w, r) // 尚未下发任何字节时才允许降级
  15. return
  16. }
  17. defer cancelUp()
  18. // 客户端断开 -> 立即取消上游,避免继续烧 token
  19. go func() {
  20. <-ctx.Done()
  21. cancelUp()
  22. }()
  23. buf := make([]byte, 4096)
  24. for {
  25. n, rerr := up.Body.Read(buf)
  26. if n > 0 {
  27. if _, werr := w.Write(buf[:n]); werr != nil {
  28. return
  29. }
  30. flusher.Flush() // 逐块下发,决定 TTFT
  31. p.meter.Accumulate(buf[:n])
  32. }
  33. if rerr != nil {
  34. break
  35. }
  36. }
  37. }

两个细节值得强调: 客户端断连必须传导到上游 ,否则用户关掉页面,模型还在生成,Token 白烧; 降级只在首字节下发前有效 ,一旦 SSE 已经开始推送,重试会导致内容重复。

2. 分层超时与优雅退出

单次 LLM 请求可能持续数分钟,用统一的 3 秒超时是灾难。建议拆成三层:

  • 连接/首字节超时(TTFT):5~10s,超时即判定线路异常并切换
  • 整体请求超时:按模型最大输出长度动态计算,如 max_tokens × 单token耗时估值 × 2
  • 空闲超时:流式场景下两个 chunk 间隔超过阈值(如 30s)判定为卡死

优雅退出指网关节点下线时,不再接新请求,但给已在途的长请求留出 drain 窗口,配合就绪探针摘流,避免滚动发布把用户对话截断。

3. 混合调度:域名 + 服务发现

公有云厂商模型多以 HTTPS 域名暴露,私有化部署的推理服务走服务发现,两者需要在同一层里统一抽象。实践中把 target 抽象为 域名直连 | K8s Service | 内网 IP 列表 三种类型,权重与健康检查策略一致,只是解析方式不同。

4. Token 计量与配额

计量不能靠数响应字节数,不同分词器下误差很大。正确做法是优先取响应体里的 usage 字段,缺失时本地估算兜底:

  1. def resolve_usage(resp: dict, req: dict) -> dict:
  2. u = resp.get("usage")
  3. if u and u.get("total_tokens"):
  4. return u # 权威口径
  5. return { # 兜底估算,需标记为 estimated
  6. "prompt_tokens": count_tokens(req["messages"]),
  7. "completion_tokens": count_tokens(resp["content"]),
  8. "estimated": True,
  9. }

配额用租户 + 模型双维度令牌桶,RPM 防突发、TPM 控总量。这里要注意:TPM 是滑动窗口累计,必须在流式读取过程中实时扣减,等响应结束再扣会让并发请求全部穿透限额。

四、负载均衡:别只按 QPS 轮询

AI 网关的负载均衡需要按提供商多线路、多模型和 API Key 灵活路由,适用于多模型接入、多租户等复杂场景。轮询在长请求场景下会导致严重倾斜——三个 60 秒的请求压在同一 Key 上,其他 Key 全程空闲。

建议用加权打分选路:

  1. score = w1 × 剩余配额比例 # 避免打满单 Key 触发 429
  2. + w2 × 线路健康度 # 近期成功率、TTFT 分位值
  3. + w3 × 成本因子 # 同等效果下优先低价模型
  4. + w4 × 前缀缓存亲和度 # 同会话粘同一节点,命中 KV cache

其中 w4 常被忽略但收益明显:多轮对话把同一会话哈希到同一后端,能显著提升前缀缓存命中率,直接降低 prompt token 的实际计费与首字延迟。

五、可观测性:把 AI 特有的指标埋进去

除常规 QPS、错误率、P99 延迟外,至少要补这几个:

指标 用途
TTFT 用户感知的”卡不卡”
输出 TPS 判断后端是否被限流
prompt/completion token 分布 成本归因、异常调用发现
缓存命中率 验证亲和策略是否生效
降级触发次数 评估主线路质量
单会话累计消耗 租户配额与风控

日志侧务必对 messages 做脱敏与采样,全量留存对话内容既有合规风险,存储成本也不低。

六、把选型和成本治理接进网关

网关解决”怎么调得稳”,但”该调哪个”是上游问题。模型注册表里的单价、上下文长度、能力标签如果靠人工维护,很快就会过期。一个实用做法是把选型与比价环节放到 词元所模型服务 这类平台上完成:先按需查模型能力与适用场景,再对比调用成本与性能表现,把结论固化成网关里的路由权重和降级链。多模型统一 API 接入的方式也能减少适配层代码量,让网关只需对接一套协议。

落地顺序建议:先接一家主模型跑通流式链路 → 补计量与配额 → 再接第二家做降级 → 最后上打分调度和成本看板。反过来先搭复杂调度框架,往往会在协议适配上耗掉全部精力。

七、几个高频坑

  • 重试放大 :429 必须指数退避 + jitter,且限制总重试预算,否则一次厂商抖动会被网关放大成全站雪崩
  • 密钥下沉 :API Key 只在网关持有,业务侧一律用网关签发的内部凭证,便于统一轮换与审计
  • 协议差异 :不同厂商对 system 角色、tool_call 格式、stop 参数支持不一致,适配层要有能力探测与降级改写
  • 内容安全 :请求侧查提示注入,响应侧查合规,双向都要留开关,避免安全策略抖动影响主链路
  • 容量规划 :按 TPM 而非 QPS 估算扩容,长上下文场景下单请求消耗可能是普通请求的几十倍

AI 网关的本质是把不确定性封装起来:上游模型会变、会限流、会涨价,而网关让业务代码只面对一个稳定的统一接口。把流式、计量、降级这三件事做扎实,多模型接入就只是配置问题,而不是架构问题。