简介:大模型网关(LLM Gateway)是所有模型调用与模型服务商之间的一层统一中间件:请求先打到它,再由它决定"发给哪个模型、发给哪个实例、失败了怎么办、这次消耗算到谁头上"。它相当于微服务架构里的 API Gateway,但因为面对的是按 Token 计费、延迟波动大、能力差异明显的生成式模型,职责要重得多。如果你正被 API Key 散落、成本失控困扰,可以先了解[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供多模型统一 API 接入与模型价格、性能对比能力,能省掉一部分自建网关的工作量。
一个很常见的场景:每个调用方都在自己的代码里硬编码模型名和 API Key,散落在几十个微服务里。某天上游服务商突然限流,整条链路直接挂掉,排查半天才发现是某个服务没写降级分支。
这类问题的根因不是”某个服务写得不好”,而是 模型调用缺少统一的收口点 。典型症状包括:
大模型网关就是把这些横切关注点从业务代码里抽出来,收敛到一个可运维的中间层。
接入层 :接收上游请求,做协议适配与参数规范化。不同团队可能用不同 SDK 格式(有人按 OpenAI 格式发,有人按 Anthropic 格式发),接入层统一转成内部标准请求;同时完成鉴权、租户识别、限流与配额检查。
决策层 :整个网关的大脑。拿到标准化请求后回答两个问题—— 该路由给哪个模型 、 该发给哪个实例 。它依赖一套路由规则引擎,加上实时的模型健康状态、各实例负载、当前价格与配额余量数据。
出口层 :把决策执行到底。向目标 Provider 发起真实调用,处理流式响应转发,做响应格式的反向转换(把各家返回统一成标准结构交还给调用方),并记录全链路日志与指标。
| 角色 | 解决的问题 | 关键实现 |
|---|---|---|
| 统一接入与协议适配 | 多 SDK、多协议格式并存 | 内部标准 Schema + 双向转换适配器 |
| 智能路由与负载均衡 | 请求该发给谁 | 规则引擎 + 健康探测 + 多实例权重 |
| 稳定性兜底 | 上游限流、超时、宕机 | 重试、熔断、多供应商降级、备用模型 |
| 成本与配额治理 | Token 消耗不可控 | 按租户/应用/用户配额、预算告警、模型分级 |
| 可观测性与审计 | 出问题查不到原因 | 全链路 trace、Token 用量、首字延迟、命中率 |
| 安全与合规 | 密钥泄露、内容风险 | 密钥托管、脱敏、内容审核前置与后置 |
其中 稳定性兜底 最容易被低估。生成式调用的失败模式比传统 HTTP 接口复杂:有限流(429)、有上下文超长(参数错误,重试无用)、有内容审核拦截(业务性失败)、有流式输出中途断流。网关必须区分 可重试错误 与 不可重试错误 ,否则重试只会放大故障。
传统网关按 URL path 或 header 路由,规则确定。LLM 网关的路由是多维度权衡,且维度之间常常互相冲突。
基于能力的路由 是最基础的一层:请求需要 128K 上下文,就把候选集限定在支持长上下文的模型;需要视觉理解,就路由到多模态模型;需要严格 JSON 输出,就选结构化输出支持更好的模型。这层通常靠模型元数据表 + 标签匹配实现。
基于成本的路由 :同一类任务往往有多个可胜任的模型,价格可能差一个数量级。常见做法是把请求分级——意图识别、分类、抽取这类简单任务走小模型,复杂推理、长文写作走旗舰模型。
基于延迟与负载的路由 :为每个上游实例维护滑动窗口内的 P95 延迟、并发数、错误率,用加权选择(类似 least-outstanding-requests + 健康度惩罚)决定出口。
基于语义的路由 :先用小模型或分类器判断请求复杂度,再决定升级到哪个模型,即所谓 cascade 策略。
基于租户与配额的 routing :付费等级高的租户优先命中高 SLA 资源池,试用租户被限制在低成本池。
一个精简的路由决策示例:
def route(req: StandardRequest, ctx: RuntimeContext) -> RouteDecision:# 1. 硬约束过滤:能力、上下文长度、合规区域candidates = [m for m in ctx.registry.modelsif m.supports(req.features)and m.max_context >= req.token_estimateand m.region in ctx.tenant.allowed_regions]# 2. 按租户策略分级:简单任务优先低成本模型if req.complexity == "simple":candidates.sort(key=lambda m: m.price_per_1k)# 3. 健康度与负载过滤,剔除熔断中的实例alive = [m for m in candidates if ctx.health.is_healthy(m.id)]if not alive:raise AllProvidersUnavailable(candidates) # 触发降级链# 4. 加权选择:延迟、剩余配额、权重return weighted_choice(alive, ctx.metrics.scores)
出口层的降级链通常这样设计:主模型限流 → 同能力备用模型 → 更小模型 + 提示词降级 → 返回缓存结果或兜底话术。 关键是每一级都要在网关里配置,而不是散落在业务代码里。
| 维度 | 传统 API 网关 | 大模型网关 |
|---|---|---|
| 计费单位 | 请求次数 | Token(输入 + 输出分别计价) |
| 延迟特征 | 毫秒级、稳定 | 秒级、方差大,流式首字延迟是核心指标 |
| 失败模式 | 状态码语义清晰 | 限流/超长/审核/断流混杂,需分类处理 |
| 负载均衡 | 轮询即可 | 需感知上游配额与实时负载 |
| 响应体 | 结构固定 | 半结构化文本,需解析、计量、审核 |
| 容量规划 | 按 QPS | 按 TPM / RPM 双维度 |
如果团队只有一两个模型、调用量不大,自建一个轻量代理就够了。但当你要同时接入多家模型、需要横向对比能力与价格、还要做成本归因时,自建的模型元数据维护、价格同步、可用性跟踪成本会迅速上升。
这种情况下,词元所这类模型服务平台可以作为网关的上游或替代方案:通过统一 API 接入多家模型,降低协议适配成本;在选型阶段用模型价格与性能对比能力评估不同模型的调用成本与适用场景,避免”凭感觉选模型”;上线后再借助调用管理能力做用量与成本的持续跟踪。
一句话总结:大模型网关的价值不在于转发请求,而在于把 路由、稳定性、成本、可观测性 这四件原本散落在几十个服务里的事,变成一处可配置、可观测、可演进的治理能力。