New API 使用教程:大模型网关部署与渠道配置实战

作者:carzy2026.11.17 03:16浏览量:0

简介:New API 是基于 One API 二次开发的开源大模型网关与 AI 资产管理系统,可统一接入多家服务商、完成协议转换与负载分发。本文从 Docker 部署、渠道与模型映射配置、负载均衡、Token 计费限流,讲到安全加固与自建/平台化选型,给出一套可直接落地的实践流程。

一、New API 到底解决什么问题

New API 是基于 One API 的开源 AI 大模型网关与资产管理系统,用 Go 语言与 Gin 框架构建,采用微服务架构,各模块解耦、可独立部署与扩展,用于应对高并发请求场景。它的核心价值不是”多接几个模型”,而是把散落在各家控制台的 API Key、计费口径、限流策略收敛到一个入口:

  • 统一接口 :对外暴露 OpenAI 协议兼容接口,业务代码换 Base URL 即可迁移,不必按厂商重写 SDK 调用。
  • 路由与负载分发 :同一模型配置多渠道,按权重、优先级分流,单渠道故障自动切换。
  • 计费与权限 :模型倍率、分组倍率、令牌额度、用户分组,支撑多租户与内部分摊。
  • 可观测性 :调用日志、Token 消耗、可视化运营看板、渠道健康状态。
  • 协议适配与推理强度调控 :不同厂商的请求/响应格式互转,并可按需调节推理深度参数。

项目基于 AGPLv3 协议开源,支持 Docker 部署,兼容 SQLite、MySQL、PostgreSQL,既能单机跑通,也能集群化支撑企业级多租户场景。如果你暂时不想自己维护网关和渠道密钥,也可以先在 百度智能云词元所 这类大模型 API 服务平台上完成模型发现与选型,再决定哪些流量走自建网关、哪些直接走平台统一 API。

二、最小可用部署:Docker + 数据库

个人验证阶段用内置 SQLite 即可,一条命令启动:

  1. docker run -d --name new-api \
  2. --restart always \
  3. -p 3000:3000 \
  4. -e TZ=Asia/Shanghai \
  5. -v /data/new-api:/data \
  6. calciumion/new-api:latest

生产环境建议切换到外部数据库,便于备份与多实例共享状态:

  1. docker run -d --name new-api \
  2. -p 3000:3000 \
  3. -e SQL_DSN="user:password@tcp(127.0.0.1:3306)/new-api" \
  4. -e REDIS_CONN_STRING="redis://127.0.0.1:6379" \
  5. -e SESSION_SECRET="<32位以上随机串>" \
  6. -v /data/new-api:/data \
  7. calciumion/new-api:latest

三个关键参数的作用:SQL_DSN 决定数据持久化后端(MySQL/PostgreSQL 均可);REDIS_CONN_STRING 用于缓存与会话共享,是集群部署的前置条件;SESSION_SECRET 必须显式设置为随机值,否则多实例登录态会互相失效。具体镜像 tag 与参数名请以官方文档为准,本文示例仅作结构参考。

三、渠道配置:从接入到连通性验证

渠道(Channel)是网关到上游服务商的映射单元,配置质量直接决定可用性。以接入 OpenAI 兼容服务为例:

  1. 控制台进入「渠道」→「添加新的渠道」。
  2. 类型选择 OpenAI;若上游是百度智能云千帆,则选择「百度文心千帆 V2」。
  3. 填写名称、分组(如 default)、Base URL。
  4. 密钥填上游控制台新建的 API Key,模型列表只保留实际要用的模型,其余清空,避免无效路由。
  5. 提交后在渠道列表点击「测试」,确认连通性再上线。
  6. 到「令牌」页面创建访问令牌,供业务侧使用。

    模型映射(别名)是平滑升级的关键。 在渠道的模型重定向字段中写入 yi-large:yi-large-1.5t 这类映射,业务代码始终请求 yi-large,底层实际调用 yi-large-1.5t;上游版本迭代时只改网关映射,调用方代码零改动。同理,可把业务自定义的 chat-default 映射到 ernie-4.0-turbo-128k 等具体模型。

客户端调用完全遵循 OpenAI 协议:

  1. curl https://gateway.example.com/v1/chat/completions \
  2. -H "Authorization: Bearer sk-你的网关令牌" \
  3. -H "Content-Type: application/json" \
  4. -d '{
  5. "model": "chat-default",
  6. "messages": [{"role": "user", "content": "总结这段日志的异常原因"}]
  7. }'

四、负载均衡与协议转换的实操要点

接口中转层在这里扮演适配器角色:接收客户端请求,按请求类型与目标接口路由转发,并完成协议转换。落地时建议遵循三条原则:

  • 同模型多渠道 + 权重 :高配额的官方渠道给高权重,备用渠道给低权重兜底;配合失败重试次数(建议 2~3 次)与渠道自动禁用阈值,避免雪崩。
  • 分组隔离 :把不同业务线放进不同分组,绑定不同渠道集合,防止一个业务的突发流量吃掉全部上游配额。
  • 协议差异要实测 :OpenAI 的 tools、response_format、多模态消息体在转换成其他厂商协议时字段可能丢失或改名,上线前用真实请求体逐字段回归。若上游本身是千帆,可直接使用其 OpenAI 适配器降低转换损耗。

五、Token 计费、配额与成本优化

网关内的额度计算可抽象为:

  1. 消耗额度 = (输入 Token + 输出 Token × 补全倍率) × 模型倍率 × 分组倍率

其中模型倍率反映不同模型的单价差异,分组倍率用于给不同业务线做差异化定价。配套的限流通常有两层:令牌维度的总额度上限,以及渠道/用户维度的 RPM、TPM 并发限制。

降本有四个可直接执行的动作:

  1. 模型分级路由 :意图识别、格式转换等简单任务下沉到小模型,复杂推理才走旗舰模型。
  2. Prompt 精简与缓存 :开启相同请求的响应缓存,压缩冗余上下文;实践中仅优化 Prompt 设计就能在日增 GB 级数据下稳定产出高质量结果。
  3. 精调替代大模型 :高频固定场景用小模型微调承接,单位调用成本显著下降。
  4. 成本可观测 :在 词元所 上对比不同模型的调用成本与性能表现,为倍率设定和选型提供外部参照,而不是凭感觉定价。

六、高可用、安全与合规

可用性 :官方宣称服务可用性达 99.9%,但这只覆盖网关自身;端到端可用性还取决于上游配额、网络与限流策略。生产环境应做到:多实例 + 外部数据库 + Redis、渠道冗余与自动禁用、日志与指标落盘、关键渠道配置变更留痕。

安全 :网关持有全量上游密钥,是攻击者的高价值目标。必须做到——管理后台不暴露公网或加 IP 白名单、密钥加密存储且最小权限分配、令牌按业务分权并设置额度与过期时间、定期审计调用日志。此外,New API 在 2026 年 4 月被证实存在一项高风险支付逻辑漏洞,官方随后发布了修复版本,因此 版本更新要及时跟进 ,涉及计费与充值的部署尤其不能长期停留在旧版本。

许可与数据 :AGPLv3 意味着修改后的代码若作为网络服务提供,需履行相应开源义务,商业闭源集成前请让法务确认。对数据不出域有硬性要求的场景,可考虑模型本地化部署方案,在专有网络内完成推理。

七、自建网关还是平台化接入

维度 自建 New API 平台化接入
多供应商聚合 强,渠道自由扩展 平台已聚合主流模型
计费与审计 完全自定义 平台侧账单与调用管理
运维成本 需自行保障高可用与升级 免运维
合规与数据隔离 可内网私有化 依平台方案而定

务实的做法是组合使用:用 New API 做统一出口、密钥收敛与内部计费,上游渠道则同时挂自建服务与平台服务。选型阶段先在 百度智能云词元所 完成模型能力匹配与价格对比,把结论直接写进网关的模型映射与倍率配置;需要一站式模型精调、应用编排能力时,也可评估千帆这类企业级平台的全生命周期工具链与行业数据集支持。

落地检查清单 :数据库与 Redis 就绪 → 渠道连通性测试通过 → 模型映射与分组确定 → 倍率与限流阈值设定 → 令牌分权与额度上限 → 日志审计与告警接入 → 版本更新机制建立。七步走完,这套网关才算真正可交付。