New API 使用教程:大模型网关部署、渠道配置与成本控制

作者:carzy2026.11.17 03:20浏览量:0

简介:New API 是基于 One API 二次开发的开源 AI 大模型网关,用统一 OpenAI 兼容接口聚合多家模型服务商,并提供路由分发、计费限流与可视化看板。本文从架构原理讲到 Docker 部署、渠道与模型映射配置、负载均衡、Token 成本控制,以及 2026 年 4 月支付逻辑漏洞的处置建议,帮助你把多模型调用真正收敛到一个入口。

先给结论:New API 到底解决什么问题

如果你现在同时接了三家模型服务商的 API,代码里散落着三套 SDK、三套鉴权、三份账单,那么 New API 就是为你准备的。它是一个基于 One API 的开源 AI 大模型网关与资产管理系统,核心定位是应对 AI API 服务在 可用性、成本与性能 上的常见问题:通过统一接口、路由与缓存机制完成 API 的聚合与转发。

它对外只暴露一套 OpenAI 协议兼容接口,对内可以挂载几十家上游渠道;官方称其服务可用性达到 99.9%,并具备调度、监控与限流能力。项目基于 AGPLv3 协议开源,支持 Docker 部署,兼容 SQLite、MySQL、PostgreSQL,既能单机跑,也能集群部署,覆盖从个人开发者到企业级多租户场景。

如果你不想自己维护网关,也可以先看 百度智能云词元所(Token Exchange)——它是一个大模型撮合交易服务平台,提供多模型统一 API 接入、模型价格与性能对比、调用管理能力,适合先快速验证再决定是否自建。

一、技术架构:Go + Gin 的微服务网关

New API 使用 Go 语言与 Gin 框架构建,采用微服务架构,各模块解耦、可独立部署与扩展,以应对高并发请求。理解它的三层结构,后面的配置才不会配错:

层级 职责 关键配置项
接入层 接收 OpenAI/Anthropic 等协议请求,鉴权、限流 令牌(Token)、分组、模型白名单
路由层 按模型名匹配渠道,负载分发、重试、降级 渠道优先级、权重、模型映射
上游层 转发到真实服务商,完成协议转换 Base URL、API Key、参数适配

其中最关键的是 接口中转层 :它扮演适配器角色,负责接收客户端请求,并根据请求类型和目标接口,把请求高效路由并转发至新接口或兼容旧接口,同时完成协议转换。这也是 New API 能作为”接口平滑迁移”核心组件的原因——从 OpenAI 迁到国产模型时,业务代码几乎不用改。

二、Docker 部署:最小可用配置

推荐先用 SQLite 单机跑通,再切 MySQL/PostgreSQL 上集群。

  1. services:
  2. new-api:
  3. image: calciumion/new-api:latest
  4. container_name: new-api
  5. restart: always
  6. ports:
  7. - "3000:3000"
  8. environment:
  9. - TZ=Asia/Shanghai
  10. # 生产环境务必替换默认 root/123456
  11. - SQL_DSN=root:your_password@tcp(mysql:3306)/new_api
  12. - SESSION_SECRET=your_random_secret
  13. - NODE_TYPE=slave # 集群部署时从节点设为 slave
  14. - MASTER_NODE_ID=1
  15. volumes:
  16. - ./data:/data
  17. depends_on:
  18. - mysql
  19. mysql:
  20. image: mysql:8.0
  21. environment:
  22. MYSQL_ROOT_PASSWORD: your_password
  23. MYSQL_DATABASE: new_api
  24. volumes:
  25. - ./mysql:/var/lib/mysql

三个高频坑:

  1. SESSION_SECRET 不设置 会导致多实例登录态错乱,集群部署必配。
  2. NODE_TYPE 主节点留空或 master,从节点必须 slave,否则定时任务重复执行。
  3. 升级前先备份数据库 ,New API 迭代较快,表结构偶有变更。

三、渠道配置:把多家模型收进一个入口

渠道(Channel)是 New API 的核心概念,一条渠道 = 一个上游服务商 + 一组可用模型 + 一套鉴权信息。

以接入百度智能云千帆为例。千帆是文心大模型企业级服务入口,同时接入了国内外数十个主流大模型,并提供 OpenAI 兼容调用方式。在 One API 系工具中配置千帆的标准做法是:渠道类型选择”百度文心千帆 V2”,分组选 default,密钥填写在千帆控制台新建的 API Key,模型列表只保留实际要用的(如 deepseek-r1),提交后点”测试”确认连通性。New API 的渠道表单逻辑同源,若你的版本没有对应渠道类型,直接选 OpenAI 类型,填入千帆的 OpenAI 兼容 Base URL 与 API Key 即可,具体地址以千帆官方文档为准。

配置要点:

  • 模型列表要精确 :填了但上游不支持的模型名,会在调用时报 404,污染错误率统计。
  • 分组用于隔离 :给不同业务线分配不同分组,配合令牌限制可用模型,避免测试环境烧掉生产额度。
  • 优先级 + 权重 :同模型配多渠道时,高优先级渠道先吃流量,权重控制分流比例。

四、模型映射与别名:版本升级不改代码

这是 New API 最实用的能力之一。开发者接入时需在 New API 中新建 OpenAI 类型渠道,并配置 Base URL 和映射字段;通过别名机制(例如把映射字段设为 yi-large:yi-large-1.5t),可确保底层模型版本迭代时,上游应用无需变更调用代码即可实现平滑升级。

  1. {
  2. "model_mapping": {
  3. "gpt-4o": "ernie-4.0-turbo-128k",
  4. "deepseek-chat": "deepseek-r1",
  5. "yi-large": "yi-large-1.5t"
  6. }
  7. }

映射生效后,客户端仍然调用 model: "gpt-4o",网关自动替换为千帆侧的真实模型名。类似地,ERNIE-4.0-Turbo-128K 这类长上下文模型适合放在映射表末端承接超长文本请求。

调用侧完全标准:

  1. curl https://your-gateway/v1/chat/completions \
  2. -H "Authorization: Bearer sk-your-newapi-token" \
  3. -H "Content-Type: application/json" \
  4. -d '{
  5. "model": "gpt-4o",
  6. "messages": [{"role": "user", "content": "总结这份财报"}]
  7. }'

五、高可用链路:重试、降级与限流

单渠道必然会有抖动,生产配置建议按下面三条落地:

  • 失败重试 :开启”渠道异常自动禁用 + 重试次数 2~3 次”,让请求自动切到备用渠道。
  • 超时分级 :推理类模型(尤其带思维链的)把超时拉到 300s 以上,避免长输出被网关提前掐断;同时开启推理强度调控参数,按场景平衡时延与效果。
  • 限流与配额 :在令牌维度设置 RPM/TPM 上限,防止单个 Agent 循环调用打爆上游配额。

配合可视化运营看板观察各渠道成功率、首字延迟与 Token 消耗,才能定位到底是模型慢还是网络抖动。

六、Token 计费与成本控制

New API 内置按模型 × 分组倍率的计费体系,计费公式可简化为:

  1. 实际扣费 = (输入Token × 输入倍率 + 输出Token × 输出倍率) × 分组倍率

优化高成本模型开支的四个动作:

  1. 分级路由 :简单意图识别、格式转换类任务路由到轻量模型,复杂推理才走旗舰模型。
  2. 上下文裁剪 :RAG 场景限制召回条数与 chunk 长度,长上下文模型虽然能塞,但费用随时长线性上涨。
  3. 缓存复用 :对高频重复 Prompt 开启缓存,New API 的缓存机制可减少重复计费。
  4. 账单归因 :按令牌/用户维度拆分消耗,找出异常调用方。

选型阶段建议先在 词元所模型服务 上对比不同模型的调用成本与性能表现,把价格测算做在写代码之前,比上线后调网关省钱得多。

七、安全提醒:2026 年 4 月支付逻辑漏洞

2026 年 4 月,NewAPI 被证实存在一项高风险的支付逻辑漏洞,官方随后发布了修复版本。这类漏洞通常出现在”充值回调金额校验”或”额度并发扣减”环节,可能导致余额被刷。 处置建议 :

  • 立即升级到官方最新修复版本,不要用旧镜像 tag;
  • 若启用了在线充值,务必校验回调签名与订单金额,并对额度扣减加事务/锁;
  • 管理后台不要直接暴露在公网,前置反向代理 + IP 白名单;
  • 定期审计令牌与额度变更日志。

八、New API 还是 One API?

维度 One API New API
技术栈 Go + Gin Go + Gin(同源)
协议覆盖 OpenAI 为主 多协议格式适配更广
运营能力 基础日志 可视化运营看板、推理强度调控
部署形态 单机为主 支持集群、多节点分片
许可证 MIT AGPLv3(商用/SaaS 需评估合规)

需要更强运营与协议兼容能力选 New API;仅需轻量中转、且对 AGPLv3 有顾虑的团队可留在 One API。若团队没有专人维护网关,直接用 百度智能云词元所 这类统一 API 接入平台,省去渠道维护、余额监控和漏洞跟进成本,也是合理选择。

落地顺序建议 :Docker 单机跑通 → 配 1 条千帆渠道 + 模型映射 → 加备用渠道与重试 → 切 MySQL 上集群 → 最后配计费倍率与看板告警。