简介:大模型网关(LLM Gateway)是所有模型调用与业务系统之间的统一中间层,负责协议适配、路由选路、失败降级、限流配额与调用计量。本文拆解它的三层架构与四类路由策略,给出可落地的代码骨架和自建/采购的判断标准,并介绍如何用统一 API 平台降低多模型接入成本。
大模型网关(LLM Gateway)是位于业务系统与各家模型服务之间的统一中间层:它把散落在几十个微服务里的模型名、API Key、重试与降级逻辑收拢到一处,由它决定”这个请求发给哪个模型、哪个实例,失败了怎么兜底,这次调用消耗了多少 Token”。角色上它等价于传统微服务架构中的 API Gateway,区别只在于路由的依据从 URL path 变成了模型能力、成本与实时健康度。如果你正被多模型选型和接入复杂度困扰,可以先了解 百度智能云词元所,它提供模型能力查询、价格与性能对比以及统一 API 接入方式,能省掉大量前期调研和适配工作。
单模型、单 Provider 阶段,拼好 Prompt 发一个 HTTP 请求就够了,网关是过度设计。但当出现下面任一情况,硬编码的调用方式就会开始反噬:
典型故障形态是:某家 Provider 突然限流,整条链路雪崩,排查半天才发现是某个边缘服务没写降级分支。网关的价值就是把这类横切关注点从业务代码里抽出来,收敛成一处可观测、可配置的策略。
接入层 :接收上游请求,做协议适配与参数规范化。不同调用方可能用 OpenAI 格式,也可能用 Anthropic 格式,接入层需要把它们统一成内部标准请求(model、messages、tools、max_tokens、temperature 等),同时完成鉴权、租户识别、限流与配额检查。这一层还要处理一个容易被忽略的细节:把 system 提示、tools 定义、多模态内容块在不同协议间做无损映射,映射不了的字段要明确报错而不是静默丢弃。
决策层 :整个网关的大脑。拿到标准化请求后输出三个决策——路由给哪个模型、首选不可用时的 fallback 链路是什么、在多个同构实例中挑哪一个。它依赖两份数据:一份是可版本化的路由规则,一份是实时的模型健康状态(成功率、P95 延迟、剩余配额、熔断状态)。
出口层 :把决策执行到底。向目标 Provider 发起真实调用,处理流式响应(SSE),把各家返回反向转换成调用方期望的统一格式,并落日志与指标。流式是最容易出问题的地方:网关必须在首字节到达前就确定路由,一旦开始转发就无法再切换目标,因此 fallback 只能在”未收到首个有效 chunk”之前生效。
传统网关的路由规则是确定的,LLM 网关的路由则需要在多个互相冲突的维度间做权衡。
| 维度 | 决策依据 | 典型策略 |
|---|---|---|
| 能力路由 | 上下文长度、是否支持视觉/工具调用/结构化输出 | 超长文档强制走长上下文模型;需要 function calling 时过滤掉不支持的模型 |
| 成本路由 | 每百万 Token 单价、缓存命中 | 简单分类、抽取类任务下沉到低价小模型 |
| 性能路由 | P95 延迟、吞吐、限流阈值 | 实时对话走低延迟模型,离线批处理走大吞吐通道 |
| 可用性路由 | 健康检查、熔断状态、配额余量 | 加权轮询 + 熔断 + 跨 Provider fallback |
基于能力的路由 是最基础的一层,通常表现为一组硬约束:请求里图片数量大于 0 就排除纯文本模型,预估 Token 超过某模型窗口就直接跳过。硬约束之后才是软优化,即在满足约束的候选集里按成本或延迟打分排序。
Fallback 链路 要区分错误类型才有效。429 限流和 5xx 应该切换目标;400 参数错误切换只会重复失败;内容安全拦截则应该直接返回,换模型属于绕过策略。重试必须带指数退避和抖动,并且对非幂等的写操作(比如已经扣费的工具调用)谨慎处理。
语义缓存 是投入产出比很高的一层:对高重复度的 FAQ、客服问答场景,命中缓存的请求完全不产生 Token 费用。注意缓存键要包含模型名、温度、系统提示的版本,否则模型升级后会返回过期风格的答案。
async def handle(request: StandardRequest):candidates = router.rank(request) # 能力硬约束过滤 + 成本/延迟打分for target in candidates:if not health.allow(target): # 熔断与配额检查continuetry:resp = await provider.call(target, request, stream=request.stream)usage.record(request.tenant, target, resp.usage) # Token 计量return normalize(resp) # 统一响应格式except RetryableError as e: # 429 / 5xx / 连接超时health.trip(target, e)continuereturn fallback_response(request) # 兜底话术或缓存结果
配套需要三样东西才能上生产:一是 计量 ,按租户、应用、模型维度记录 input/output Token 与缓存命中量,这是成本分摊和配额告警的基础;二是 链路追踪 ,每次调用带统一 trace_id,把请求参数、路由决策、重试次数、耗时串起来;三是 策略热更新 ,路由规则和 fallback 链必须能在不发版的情况下调整,否则故障时你还是得改代码。
在对话系统里,网关往往还要和判别式引擎配合:优先走 FAQ、任务式对话等可控通道,无法匹配时再调用生成式引擎,这样既保住效果下限,也降低大模型并发压力。第三方模型接入同样适合在网关层统一管理引擎 ID、交互方式(流式/非流式)和 Prompt 模板,而不是散落在业务代码里。
自建网关的隐性成本常被低估:协议适配要跟版、各家错误码语义不一致、流式解析边界情况多、计量口径对不上财务。如果你的核心诉求是”少写胶水代码、快速把多个模型跑起来”,用现成的统一接入层更划算——词元所 的做法是把模型发现、价格与性能对比、统一 API 接入和调用管理放在一处,选型阶段可以直接横向比较不同模型的单价与适用场景,接入阶段只维护一套调用代码,不必为每家 Provider 写一份 SDK 封装。
如果你要自建,建议先做能力路由和 fallback 这两件事,它们能解决 80% 的线上稳定性问题;成本路由和语义缓存可以后置,等有了真实的 Token 消耗数据再优化,避免拍脑袋定策略。无论自建还是采购,路由规则都应该配置化、可灰度、可回滚——网关是全局单点,一次错误的规则推送影响的是所有业务线。