简介:本文介绍多模型AI网关的分层架构、模型路由与配额治理,说明SSE与WebSocket的选择、代理缓冲关闭、超时与心跳设置,以及熔断探测和断线续传的实现方式。读完后,你可以按清单检查接入方案,减少流式输出中断和模型调用失败的排查成本。
多模型AI网关负责统一接入、调度和治理大语言模型服务。它承担的工作比普通反向代理多,因为不同模型供应商在协议、鉴权、计费和流式输出上都有差异。网关需要屏蔽这些差异,为上层应用提供稳定的统一入口。无论是做多模型AI网关设计,还是规划模型路由策略,抑或是评估SSE流式转发方案,都需要先理解这一层的职责边界。
在单模型阶段,应用直接调用某家模型的API即可。进入多模型阶段后,问题会快速增加:
因此,多模型AI网关需要同时承担流量入口和治理平面两种角色。在选型阶段,团队可以对照各供应商公开的价格页和能力文档,核对模型的能力边界、价格和性能数据,再决定是否采用统一API接入方式。价格数据会随时间变化,核对时应记录日期,并以供应商最新价目为准。
一个可落地的多模型AI网关通常采用控制面与数据面分离的架构。控制面保存规则,数据面执行请求,两者的职责互不交叉。
| 层级 | 关键模块 | 主要职责 |
|---|---|---|
| 接入层 | 统一API、鉴权、限流 | 对外提供兼容接口,识别租户与调用身份 |
| 路由层 | 模型路由、负载均衡、熔断 | 根据成本、延迟、可用性和租户策略选择模型 |
| 适配层 | 供应商适配、协议转换 | 屏蔽不同厂商的API差异,统一请求与响应 |
| 治理层 | Token配额、安全审计、内容安全 | 控制调用规模,保障合规与可追溯 |
| 观测层 | 日志、指标、链路追踪 | 监控QPS、错误率、首包延迟和Token消耗 |
控制面负责定义规则,包括以下内容:
控制面还要把规则下发给数据面的每个节点。同时,数据面需要定期回传模型健康状态和熔断器状态,使控制面能及时调整权重与备用池。如果规则下发延迟,节点可能继续使用已经下线的模型,因此下发版本号和生效时间都应记录下来。
数据面负责执行请求,处理流程如下:
客户端请求 → 鉴权 → 配额检查 → 路由选择 → 供应商适配 → 调用上游→ 流式回传 → 用量计量 → 写入审计日志
数据面接收客户端请求,完成鉴权与配额检查,按路由策略选择模型,调用上游服务。返回响应时,它要做协议转换、流式转发、用量统计和日志记录。
网关首先要建立模型元数据。每个模型至少应包含以下字段:
{"model_id": "chat-model-a","provider": "provider-a","endpoint": "https://api.example.com/v1/chat","context_window": 32768,"max_output_tokens": 4096,"request_timeout_ms": 120000,"capabilities": ["chat", "rag", "function_call"],"input_price": 2.0,"output_price": 6.0,"price_unit": "CNY/百万token","price_note": "示例价格,仅用于演示计费字段,非真实报价","price_updated_at": "YYYY-MM-DD(填写核对价目的日期)","rate_limit": {"rpm": 600,"tpm": 200000},"health": "up"}
字段说明如下:
input_price 与 output_price 分别是输入和输出的单价,单位为人民币元,计价口径为每百万token。上例数值仅为示例,实际以供应商最新价目为准。rate_limit.tpm 表示该模型在60秒窗口内的容量上限。它描述的是上游能力,不是某个租户的额度。context_window 必须大于等于 max_output_tokens 加上输入token数。注册时应校验这一关系,不满足时拒绝入库。request_timeout_ms 应大于该模型在常规长度下的生成时间,否则长回答会被误判为超时。有了统一元数据,网关才能完成路由、计费、限流和故障切换。
路由是多模型网关的核心。常见策略包括以下几种:
租户配额需要明确字段语义。tpm_used 表示当前60秒窗口内已消耗的token数,tpm_limit 表示该租户在窗口内的额度上限,剩余额度为两者之差。QuotaExceeded 是配额不足时抛出的异常,网关将其映射为HTTP 429,错误码为 quota_exceeded。
熔断器有三种状态,每种状态对路由的影响不同:
建议采用以下参数作为起点,再根据业务调整:
示例逻辑如下:
import randomclass QuotaExceeded(Exception):"""租户在当前窗口内的TPM额度不足,对应HTTP 429。"""class NoAvailableModel(Exception):"""没有可用模型,对应HTTP 503。"""def is_closed_and_up(m):# 只有健康且熔断器关闭的模型才参与正常路由return m.health == "up" and m.breaker_state == "closed"def try_acquire_probe(m, max_probes=3):# 半开状态下最多放行 max_probes 个探测请求,计数需要原子递增if m.health == "up" and m.breaker_state == "half_open" and m.probe_count < max_probes:m.probe_count += 1return Truereturn Falsedef weighted_pick(models):scores = [m.weight * (1 - m.error_rate) for m in models]if sum(scores) <= 0:return models[0]return random.choices(models, weights=scores, k=1)[0]def select_route(req, candidates):quota = req.tenant_quota# estimated_tokens = 输入token数 + max_tokensif quota.tpm_used + req.estimated_tokens > quota.tpm_limit:raise QuotaExceeded()healthy = [m for m in candidates if is_closed_and_up(m)]if healthy:if req.priority == "cost":return min(healthy, key=lambda m: m.estimated_cost(req))if req.priority == "latency":return min(healthy, key=lambda m: m.recent_latency_ms)return weighted_pick(healthy)# 降级策略一:半开模型只接收受限的探测请求,不参与加权for m in candidates:if try_acquire_probe(m):return m# 降级策略二:切换到控制面配置的备用模型池backup = [m for m in req.backup_candidates if is_closed_and_up(m)]if backup:return weighted_pick(backup)raise NoAvailableModel()
加权路由的权重按 权重 × (1 − 错误率) 计算。当所有权重都为0时,示例代码退回到第一个候选模型,避免 random.choices 因权重和为0而报错。探测请求的成功或失败由熔断器统计,不会改变正常候选的排序。probe_count 的递增在示例中是普通赋值,生产环境应使用Redis的原子操作或加锁,否则并发请求可能突破3个探测的上限。
大模型输出通常逐token生成,网关需要把每个片段及时送到客户端。下面按协议选择、代理配置、超时心跳和断线续传四个问题展开。
SSE基于HTTP,只支持服务端向客户端单向推送。它适合逐token输出、结果展示和大多数对话场景,穿过代理和CDN的兼容性也较好。浏览器原生的 EventSource 自带自动重连,并会在重连时携带 Last-Event-ID 请求头。但 EventSource 只能发起GET请求,不能携带请求体,也不能自定义请求头。因此,如果流式接口使用POST传递对话内容,或需要携带Authorization请求头,就要改用 fetch 读取流,并自行实现重连、Last-Event-ID 传递和错误事件处理。
WebSocket是全双工协议,适合客户端需要在生成过程中发送指令的场景,例如打断生成、语音实时交互或Agent运行中的人工介入。如果只需要单向输出,优先选择SSE,实现和运维成本都更低。
代理如果先攒够一段数据再转发,用户会感觉首字很慢,流式输出也会变成一次性返回。以Nginx为例,流式路径的配置如下:
location /v1/chat/stream {proxy_pass http://gateway_upstream;proxy_http_version 1.1;proxy_buffering off;proxy_cache off;proxy_read_timeout 300s;proxy_send_timeout 300s;}
proxy_buffering off 是关闭缓冲的关键配置,它直接作用于当前Nginx与上游之间的转发。X-Accel-Buffering 响应头由上游返回,Nginx读取到它后才会据此决定是否关闭该响应的缓冲。因此,网关应在流式响应中主动返回 X-Accel-Buffering: no,让位于它前面的其他Nginx或代理层也能正确关闭缓冲。仅在本层Nginx的 location 中使用 add_header 添加该头,只影响发给客户端的响应,无法替代 proxy_buffering off。
网关同时要在响应中设置 Content-Type: text/event-stream 和 Cache-Control: no-cache,并且每写出一个片段就立即刷新输出缓冲区。
流式事件的格式也需要统一。正常结束时发送