ModelAPI概述

更新时间：2026-09-21

什么是 Model API

Model API 是 Model 服务下的大模型路由，支持多后端策略与 Fallback 兜底，帮助您实现多模型统一接入、灰度发布与跨供应商容灾。

一个 Model API 对外表现为「1 个 API + N 条匹配规则」：API 提供固定的 path、method 与优先级，匹配规则负责把命中不同请求特征的流量分发到不同后端。

概念	说明
Model API	对外暴露的接口，拥有固定的 path、method、优先级、Header 与 Query 匹配条件，关联一个 Model 服务，包含 1~N 条匹配规则，支持配置 API 级别的 Fallback。
匹配规则	API 下的一条转发规则，包含匹配条件、后端服务配置与状态（已发布 / 已禁用）。
默认匹配规则	API 的兜底规则，匹配条件为 `*`，即创建 Model API 时指定的后端。仅在非「按模型名称」的后端策略下存在，且仅支持通过编辑 API 修改。
匹配条件	规则命中请求的条件。按模型名称策略下为请求体中 `model` 字段的匹配表达式（支持通配符，如 `deepseek-*`）。
后端服务模式	单后端（SINGLE）/ 按模型名称（MODEL_NAME）/ 按比例（WEIGHT）。
Fallback 服务	后端异常时按顺序兜底的备用后端列表，作用于整个 API，不支持为单条匹配规则单独配置。

Plain Text

1请求 → API（path/method/请求头/请求query）→ 安全防护 → 策略与插件 → 按匹配规则命中后端 → （异常时）Fallback 服务

能力	说明
归属服务	Model 服务
请求路径与方法	标准协议服务由预置路由决定；自定义协议服务自行配置
路径匹配方式	自定义协议服务下可选精确 / 前缀 / 正则
后端服务模式	单后端 / 按模型名称 / 按比例
Fallback	支持，API 级别生效
匹配规则管理	支持规则粒度的发布、禁用、删除
发布粒度	匹配规则级别（API 级别不提供发布/下线）
消费者认证	支持 API 级别开启，优先级高于所属服务
监控	含 Token 总数、Token 分类统计、首 Token 时延等 AI 指标

若一个请求同时命中多条匹配规则，网关会命中匹配更精确（规则更具体）的后端。例如：

Bash

1A 后端的匹配规则为 model-*
2B 后端的匹配规则为 model-1-*
3请求携带的模型名称为 model-1-1 时，model-1-* 比 model-* 更具体，请求将命中 B 后端