什么是 Model 服务

Model 服务面向大模型调用场景，是 Model API 的归属单元。支持多种模型场景与服务协议，客户端可按对应协议的标准方式调用。

适用场景

• 多模型统一接入：多家模型供应商的接口收敛到一个 OpenAI 兼容入口，业务方只需改 base_url 与 model 字段。
• 模型灰度与容灾：Model API 支持按比例分流与 Fallback 兜底，新模型可先承接小流量验证。
• 成本与配额管控：结合消费者配额与后端 Token 单价，实现团队级用量限制与成本分摊。

能力一览

前提条件

• 已创建网关实例，且实例处于「运行中」状态，详见创建实例。
• 已在后端管理中添加好 AI 大模型后端。
• 如需绑定自定义域名，请先在域名管理中创建域名。

使用流程

1. 在后端管理中创建 AI 大模型后端
2. 创建 Model 服务并勾选预置路由
3. 创建 Model API并配置后端策略
4. 按需在管理 Model 服务中绑定自定义域名、开启消费者认证
5. 通过Model 服务监控观察调用量与 Token 消耗

相关文档

• 创建 Model 服务
• 管理 Model 服务
• Model 服务监控
• 服务概述：三类服务的能力对比。