概述

AI 大模型后端用于对接大模型服务，支持各大模型供应商及自建模型服务。模型供应商的 API-Key 统一托管在网关侧，调用方无需感知，避免真实密钥泄露。本文介绍如何创建 AI 大模型后端。

说明：通过 AI 模型后端对接的第三方大模型能力并非由 API 网关直接提供。在使用前，请您自行评估该服务的适用性和可靠性，并确保您的使用行为完全符合相关法律法规及对应模型供应商的服务协议、计费规则。

前提条件

• 已创建网关实例，且实例处于「运行中」状态。
• 已获取模型供应商的服务地址（Endpoint）与 API-Key。

操作步骤

1. 登录 API 网关专享版控制台，在左侧导航选择目标实例。
2. 进入 后端管理，单击 添加后端，后端类型选择 AI 大模型。
3. 配置以下参数：

配置项	说明
后端名称	（必填）后端在实例内的标识，支持大小写字母、数字、中文以及 - _ / . 等特殊字符，必须以中文或字母开头，长度 1-65。
大模型供应商	（必选）从供应商列表中选择，或选择「自定义」对接自建/其他推理服务。
模型协议	（必选）见下方「模型协议说明」。
服务地址	（必填）模型服务的访问地址（Endpoint）。
大模型 API-Key	（必填）模型供应商颁发的密钥，API Key 用于 API 网关与大模型之间的身份认证。配置完成后，网关将在请求过程中自动选取一个 API Key 进行通信。

注意：

• 如果大模型供应商选择「自定义」，模型协议选择「原生协议」，请在客户端请求时携带 API Key，网关会将其透传至后端服务。
• 服务地址配置的path部分不会生效，您需要再创建Model API时指定完整path。比如您配置的后端服务地址为：https://qianfan.baidubce.com/v2，网关请求该upstream时，请求地址为https://qianfan.baidubce.com

模型协议说明

协议	说明
OpenAI 兼容	兼容 OpenAI Chat Completions API 格式，适用于大多数模型厂商的兼容接口，典型请求前缀为 /v1/chat/completions。
Anthropic 兼容	兼容 Anthropic Messages API 格式，典型请求前缀为 /v1/messages。
原生协议	使用模型厂商自有的原生 API 格式，支持厂商特有的参数和功能。使用原生协议时，创建 Model API 需选择自定义 HTTP 协议。

高级配置

自定义后端费用（Token 单价）

API 网关专享版独有能力，自定义后端费用主要用于 AI 大模型调用成本管理。

功能说明

支持为 AI 大模型后端自定义设置 Token 单价，开启后，可自定义该大模型后端的费用计算规则。配置完成后，系统将在消费者费用详情中按时间范围与后端维度展示相关费用信息，便于用户按模型调用量查看成本。建议按模型供应商牌价配置，详见费用信息。

适用场景

• 接入自定义模型厂商时，需要自行维护模型调用单价
• 不同模型输入、输出价格不同，需要精细化成本核算
• 希望在消费者维度查看模型调用费用
• 需要基于 Token 使用量进行预算管理和成本分析

具体步骤

1. 进入高级配置区域，单击开启按钮。

2. 在 计费单位 中选择费用统计口径：

   • 每千 Token
   • 每百万 Token

3. 在 计费价格 中分别配置：

   • 输入：输入 Token 的单价
   • 输出：输出 Token 的单价
   • 命中缓存：缓存命中 Token 的单价

价格支持填写小数点后六位，需按照所选计费单位填写。

后续操作

创建 Model API：将 AI 大模型后端绑定到 Model API 对外提供服务。