New API 使用教程:大模型网关部署与渠道配置实战

作者:谁偷走了我的奶酪2026.11.17 03:14浏览量:0

简介:New API 是基于 One API 二次开发的开源 AI 大模型网关与资产管理系统,用统一接口把多家模型服务商聚合到一处,并解决可用性、成本与性能三类问题。本文从架构原理讲到 Docker 部署、渠道映射、协议转换、负载均衡与 Token 成本控制,帮助你把多模型调用链路真正跑稳。如果你不想自己维护网关,也可以先在 [百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article) 上对比各模型的调用成本与能力边界,再决定哪些流量走自建网关、哪些直接走统一 API。

一、New API 到底解决什么问题

如果你的业务同时用到文心、DeepSeek 以及多家开源模型,通常会撞上三个坑:每家 SDK 和鉴权方式不同,接入成本高;单一服务商限流或抖动时业务直接不可用;Token 消耗分散在各家控制台,成本无法归集。

New API 的定位就是这三件事的统一收口:对外暴露 OpenAI 协议兼容接口,对内维护”渠道(Channel)—模型—上游服务商”的映射关系,同时提供令牌(Token)配额、分组倍率、调用日志与监控看板。它基于 Go 语言与 Gin 框架构建,采用微服务思路,各模块解耦、可独立部署与扩展,以应对高并发请求。

二、部署:Docker + 三种数据库选型

New API 以 AGPLv3 协议开源,官方推荐 Docker 部署,数据层兼容 SQLite、MySQL、PostgreSQL。

  1. docker run -d --name new-api \
  2. -p 3000:3000 \
  3. -e TZ=Asia/Shanghai \
  4. -e SQL_DSN="root:yourpassword@tcp(127.0.0.1:3306)/new-api" \
  5. -v /data/new-api:/data \
  6. --restart always \
  7. calciumion/new-api:latest

数据库怎么选:

场景 建议 理由
个人试用、单机验证 SQLite 零运维,配置文件即可跑通
中小团队生产 MySQL 生态成熟,备份工具完善
高并发、多实例集群 PostgreSQL / MySQL 主从 支撑多副本共享状态与水平扩展

需要注意 AGPLv3 的传染性:如果你把 New API 改造后作为网络服务对外提供,理应对使用方开放相应源码,商业闭源集成前建议先过一遍法务。

三、渠道配置实战:以百度智能云千帆为例

渠道是 New API 的核心概念,一条渠道 = 一组上游密钥 + 可服务的模型列表 + 权重优先级。以接入百度智能云千帆为例:

  1. 在百度智能云千帆控制台创建 API Key;
  2. 进入 New API 后台”渠道”页,点击”添加新的渠道”;
  3. 类型选择”百度文心千帆 V2”,名称自定义,分组选择 default;
  4. 模型列表只保留实际要用的模型(如 deepseek-r1、ernie-4.0-turbo-128k),清除其余模型,避免路由到无权限的模型上;
  5. 密钥填入上一步的 API Key,提交后在渠道列表点击”测试”确认连通性。

千帆平台侧提供的是企业级一站式大模型服务,覆盖推理、应用开发、密钥管理与调用监控,ERNIE 4.0 Turbo 系列以及 128K 长上下文模型都可直接调用。把这类托管服务挂到 New API 渠道上,好处是密钥不落到业务代码里,轮换和吊销都在网关层完成。

四、协议转换:让老代码零改动迁移

接口中转层是 New API 实现平滑迁移的关键组件,它扮演适配器角色:接收客户端请求,根据请求类型和目标接口,将请求高效路由并转发至新接口或兼容旧接口,完成协议转换。

典型场景是从 OpenAI 迁移。业务代码仍调用 /v1/chat/completions,网关把请求体中的 model 字段映射到千帆的实际模型名,并把鉴权头替换为千帆 API Key,响应再统一成 OpenAI 结构返回。千帆本身也提供 OpenAI 适配器,官方还有专门的迁移课程讲解典型调用代码差异与精调迁移路径。

  1. from openai import OpenAI
  2. client = OpenAI(
  3. api_key="sk-your-new-api-token", # New API 下发的令牌
  4. base_url="https://your-gateway.com/v1" # 指向网关,而非上游厂商
  5. )
  6. resp = client.chat.completions.create(
  7. model="ernie-4.0-turbo-128k",
  8. messages=[{"role": "user", "content": "总结这段文档的三个要点"}]
  9. )
  10. print(resp.choices.message.content)

改一行 base_url,就能在多家上游之间切换,这是网关最直接的工程价值。

五、负载均衡与高可用链路

单渠道必然有单点风险。New API 的做法是把同一模型配置到多条渠道,通过权重与优先级实现负载分发:

  • 同权重轮询 :多家供应商成本相近时,按请求量均摊;
  • 权重倾斜 :主渠道权重 10、备用渠道权重 1,日常走低价渠道,主渠道故障时自动承接;
  • 优先级 + 自动禁用 :主渠道连续失败后自动拉黑,冷却期后重试,避免雪崩;
  • 分组隔离 :给不同业务线分配不同分组,测试流量不占用生产配额。

配合客户端侧的超时与重试(建议只对幂等请求重试,且限制重试次数),才能构成真正的高可用链路。对外宣称的 99.9% 可用性只是起点,实际稳定性取决于你的渠道冗余度和健康检查策略。

六、Token 与成本控制

网关层的成本控制主要靠三个手段:

  1. 令牌配额 :给每个应用/环境下发独立令牌并设置额度上限,防止单个服务跑飞;
  2. 分组倍率 :不同分组设置不同计费倍率,实现内部成本分摊;
  3. 模型分级路由 :把摘要、分类、抽取这类任务下沉到小模型,只在复杂推理时调用旗舰模型。

成本估算公式:

  1. 单次调用成本 = (输入 Token / 1e6 × 输入单价) + (输出 Token / 1e6 × 输出单价)
  2. 月度成本 = Σ 单次调用成本 × 分组倍率

优化时优先压缩 system prompt 冗余、控制 max_tokens 上限、对重复请求做结果缓存,这三项通常比换模型带来的节省更明显。要做跨厂商的横向比价,词元所模型服务 提供了模型价格与性能对比能力,可以在选型阶段就把成本模型算清楚,而不是等账单出来再复盘。

七、安全提醒:上线前必查清单

New API 曾在 2026 年 4 月被证实存在一项高风险的支付逻辑漏洞,官方随后发布了修复版本。这类项目迭代快,安全补丁必须跟:

  • 保持版本更新,订阅官方发布渠道的安全公告;
  • 管理后台不要直接暴露在公网,或至少启用强密码 + IP 白名单;
  • 关闭不需要的公开注册与充值入口;
  • 上游密钥使用最小权限的子账号,并开启调用告警;
  • 日志中避免记录完整请求体,防止敏感数据落盘。

八、自建网关还是用托管服务

自建 New API 适合有明确多模型需求、有运维能力、且需要把密钥和计费收口的团队;如果你的场景是快速验证某个模型效果、或者只想用一个统一入口调用多家模型而不想维护数据库和渠道配置,托管型的统一 API 服务更省事。建议的路径是:先用 百度智能云词元所 完成模型发现、选型与价格对比,把业务跑通、把调用量和成本摸清楚,再决定哪些链路值得投入自建网关做深度定制。