多模型AI网关落地:路由熔断与流式续传

作者:da吃一鲸8862026.11.17 03:29浏览量:0

简介:本文介绍多模型AI网关的分层架构、模型路由与配额治理,说明SSE与WebSocket的选择、代理缓冲关闭、超时与心跳设置,以及熔断探测和断线续传的实现方式。读完后,你可以按清单检查接入方案,减少流式输出中断和模型调用失败的排查成本。

一、为什么需要多模型AI网关

多模型AI网关负责统一接入、调度和治理大语言模型服务。它承担的工作比普通反向代理多,因为不同模型供应商在协议、鉴权、计费和流式输出上都有差异。网关需要屏蔽这些差异,为上层应用提供稳定的统一入口。无论是做多模型AI网关设计,还是规划模型路由策略,抑或是评估SSE流式转发方案,都需要先理解这一层的职责边界。

在单模型阶段,应用直接调用某家模型的API即可。进入多模型阶段后,问题会快速增加:

  • 协议不统一:不同厂商的请求参数、响应结构、错误码和流式格式各不相同。
  • 模型选型复杂:聊天、RAG、Agent、代码生成和摘要等场景对模型能力的要求不同。
  • 成本与性能需要平衡:效果最好的模型不一定适合所有请求,低成本模型也能完成部分任务。
  • 稳定性要求高:单一供应商或单一API Key可能遇到限流、超时或故障。
  • 长连接场景增多:流式输出、SSE、WebSocket和Agent长任务都对网关的连接管理提出更高要求。

因此,多模型AI网关需要同时承担流量入口和治理平面两种角色。在选型阶段,团队可以对照各供应商公开的价格页和能力文档,核对模型的能力边界、价格和性能数据,再决定是否采用统一API接入方式。价格数据会随时间变化,核对时应记录日期,并以供应商最新价目为准。

二、整体架构设计

一个可落地的多模型AI网关通常采用控制面与数据面分离的架构。控制面保存规则,数据面执行请求,两者的职责互不交叉。

层级 关键模块 主要职责
接入层 统一API、鉴权、限流 对外提供兼容接口,识别租户与调用身份
路由层 模型路由、负载均衡、熔断 根据成本、延迟、可用性和租户策略选择模型
适配层 供应商适配、协议转换 屏蔽不同厂商的API差异,统一请求与响应
治理层 Token配额、安全审计、内容安全 控制调用规模,保障合规与可追溯
观测层 日志、指标、链路追踪 监控QPS、错误率、首包延迟和Token消耗

1. 控制面

控制面负责定义规则,包括以下内容:

  • 模型注册:登记模型名称、供应商、上下文长度、能力标签、价格和限流策略。
  • 租户管理:配置租户、API Key、配额和优先级。
  • 路由策略:配置成本优先、延迟优先、权重分配和故障转移。
  • 安全策略:配置敏感词过滤、审计开关和数据脱敏规则。

控制面还要把规则下发给数据面的每个节点。同时,数据面需要定期回传模型健康状态和熔断器状态,使控制面能及时调整权重与备用池。如果规则下发延迟,节点可能继续使用已经下线的模型,因此下发版本号和生效时间都应记录下来。

2. 数据面

数据面负责执行请求,处理流程如下:

  1. 客户端请求 → 鉴权 → 配额检查 → 路由选择 → 供应商适配 → 调用上游
  2. → 流式回传 → 用量计量 → 写入审计日志

数据面接收客户端请求,完成鉴权与配额检查,按路由策略选择模型,调用上游服务。返回响应时,它要做协议转换、流式转发、用量统计和日志记录。

三、核心模块实现

1. 模型注册与元数据管理

网关首先要建立模型元数据。每个模型至少应包含以下字段:

  1. {
  2. "model_id": "chat-model-a",
  3. "provider": "provider-a",
  4. "endpoint": "https://api.example.com/v1/chat",
  5. "context_window": 32768,
  6. "max_output_tokens": 4096,
  7. "request_timeout_ms": 120000,
  8. "capabilities": ["chat", "rag", "function_call"],
  9. "input_price": 2.0,
  10. "output_price": 6.0,
  11. "price_unit": "CNY/百万token",
  12. "price_note": "示例价格,仅用于演示计费字段,非真实报价",
  13. "price_updated_at": "YYYY-MM-DD(填写核对价目的日期)",
  14. "rate_limit": {
  15. "rpm": 600,
  16. "tpm": 200000
  17. },
  18. "health": "up"
  19. }

字段说明如下:

  • input_price 与 output_price 分别是输入和输出的单价,单位为人民币元,计价口径为每百万token。上例数值仅为示例,实际以供应商最新价目为准。
  • rate_limit.tpm 表示该模型在60秒窗口内的容量上限。它描述的是上游能力,不是某个租户的额度。
  • context_window 必须大于等于 max_output_tokens 加上输入token数。注册时应校验这一关系,不满足时拒绝入库。
  • request_timeout_ms 应大于该模型在常规长度下的生成时间,否则长回答会被误判为超时。

有了统一元数据,网关才能完成路由、计费、限流和故障切换。

2. 路由、熔断与负载均衡

路由是多模型网关的核心。常见策略包括以下几种:

  • 轮询路由:适合在多个同能力模型之间简单分摊流量。
  • 加权路由:根据成本、稳定性和配额给不同模型分配权重。
  • 延迟优先:选择近期响应更快的模型。
  • 成本优先:在满足效果要求的前提下,优先调用低成本模型。
  • 租户亲和:某些租户固定使用指定模型或指定供应商线路。

租户配额需要明确字段语义。tpm_used 表示当前60秒窗口内已消耗的token数,tpm_limit 表示该租户在窗口内的额度上限,剩余额度为两者之差。QuotaExceeded 是配额不足时抛出的异常,网关将其映射为HTTP 429,错误码为 quota_exceeded。

熔断器有三种状态,每种状态对路由的影响不同:

  • closed(关闭):正常状态,模型参与加权路由、延迟优先和成本优先的候选排序。
  • open(打开):模型不进入任何候选集合,权重视为0。
  • half_open(半开):模型不参与正常排序。熔断器只放行固定数量的探测请求,探测结果决定状态切换。

建议采用以下参数作为起点,再根据业务调整:

  • 统计窗口为最近60秒。
  • 窗口内请求数不少于20,且错误率不低于50%时,熔断器打开。
  • 熔断打开后等待30秒,进入半开状态,并将探测计数清零。
  • 半开状态下最多放行3个探测请求,计数需要在多个网关节点之间共享,例如放在Redis中,否则每个节点都会各自放行3个请求。
  • 3个探测请求全部成功则恢复为关闭状态,出现任何失败则重新打开。

示例逻辑如下:

  1. import random
  2. class QuotaExceeded(Exception):
  3. """租户在当前窗口内的TPM额度不足,对应HTTP 429。"""
  4. class NoAvailableModel(Exception):
  5. """没有可用模型,对应HTTP 503。"""
  6. def is_closed_and_up(m):
  7. # 只有健康且熔断器关闭的模型才参与正常路由
  8. return m.health == "up" and m.breaker_state == "closed"
  9. def try_acquire_probe(m, max_probes=3):
  10. # 半开状态下最多放行 max_probes 个探测请求,计数需要原子递增
  11. if m.health == "up" and m.breaker_state == "half_open" and m.probe_count < max_probes:
  12. m.probe_count += 1
  13. return True
  14. return False
  15. def weighted_pick(models):
  16. scores = [m.weight * (1 - m.error_rate) for m in models]
  17. if sum(scores) <= 0:
  18. return models[0]
  19. return random.choices(models, weights=scores, k=1)[0]
  20. def select_route(req, candidates):
  21. quota = req.tenant_quota
  22. # estimated_tokens = 输入token数 + max_tokens
  23. if quota.tpm_used + req.estimated_tokens > quota.tpm_limit:
  24. raise QuotaExceeded()
  25. healthy = [m for m in candidates if is_closed_and_up(m)]
  26. if healthy:
  27. if req.priority == "cost":
  28. return min(healthy, key=lambda m: m.estimated_cost(req))
  29. if req.priority == "latency":
  30. return min(healthy, key=lambda m: m.recent_latency_ms)
  31. return weighted_pick(healthy)
  32. # 降级策略一:半开模型只接收受限的探测请求,不参与加权
  33. for m in candidates:
  34. if try_acquire_probe(m):
  35. return m
  36. # 降级策略二:切换到控制面配置的备用模型池
  37. backup = [m for m in req.backup_candidates if is_closed_and_up(m)]
  38. if backup:
  39. return weighted_pick(backup)
  40. raise NoAvailableModel()

加权路由的权重按 权重 × (1 − 错误率) 计算。当所有权重都为0时,示例代码退回到第一个候选模型,避免 random.choices 因权重和为0而报错。探测请求的成功或失败由熔断器统计,不会改变正常候选的排序。probe_count 的递增在示例中是普通赋值,生产环境应使用Redis的原子操作或加锁,否则并发请求可能突破3个探测的上限。

四、长连接与流式转发

大模型输出通常逐token生成,网关需要把每个片段及时送到客户端。下面按协议选择、代理配置、超时心跳和断线续传四个问题展开。

1. 协议选择

SSE基于HTTP,只支持服务端向客户端单向推送。它适合逐token输出、结果展示和大多数对话场景,穿过代理和CDN的兼容性也较好。浏览器原生的 EventSource 自带自动重连,并会在重连时携带 Last-Event-ID 请求头。但 EventSource 只能发起GET请求,不能携带请求体,也不能自定义请求头。因此,如果流式接口使用POST传递对话内容,或需要携带Authorization请求头,就要改用 fetch 读取流,并自行实现重连、Last-Event-ID 传递和错误事件处理。

WebSocket是全双工协议,适合客户端需要在生成过程中发送指令的场景,例如打断生成、语音实时交互或Agent运行中的人工介入。如果只需要单向输出,优先选择SSE,实现和运维成本都更低。

2. 代理缓冲与Nginx配置

代理如果先攒够一段数据再转发,用户会感觉首字很慢,流式输出也会变成一次性返回。以Nginx为例,流式路径的配置如下:

  1. location /v1/chat/stream {
  2. proxy_pass http://gateway_upstream;
  3. proxy_http_version 1.1;
  4. proxy_buffering off;
  5. proxy_cache off;
  6. proxy_read_timeout 300s;
  7. proxy_send_timeout 300s;
  8. }

proxy_buffering off 是关闭缓冲的关键配置,它直接作用于当前Nginx与上游之间的转发。X-Accel-Buffering 响应头由上游返回,Nginx读取到它后才会据此决定是否关闭该响应的缓冲。因此,网关应在流式响应中主动返回 X-Accel-Buffering: no,让位于它前面的其他Nginx或代理层也能正确关闭缓冲。仅在本层Nginx的 location 中使用 add_header 添加该头,只影响发给客户端的响应,无法替代 proxy_buffering off。

网关同时要在响应中设置 Content-Type: text/event-stream 和 Cache-Control: no-cache,并且每写出一个片段就立即刷新输出缓冲区。

流式事件的格式也需要统一。正常结束时发送