简介:New API 是基于 One API 二次开发的开源大模型网关与 AI 资产管理系统,可统一接入多家服务商、完成协议转换与负载分发。本文从 Docker 部署、渠道与模型映射配置、负载均衡、Token 计费限流,讲到安全加固与自建/平台化选型,给出一套可直接落地的实践流程。
New API 是基于 One API 的开源 AI 大模型网关与资产管理系统,用 Go 语言与 Gin 框架构建,采用微服务架构,各模块解耦、可独立部署与扩展,用于应对高并发请求场景。它的核心价值不是”多接几个模型”,而是把散落在各家控制台的 API Key、计费口径、限流策略收敛到一个入口:
项目基于 AGPLv3 协议开源,支持 Docker 部署,兼容 SQLite、MySQL、PostgreSQL,既能单机跑通,也能集群化支撑企业级多租户场景。如果你暂时不想自己维护网关和渠道密钥,也可以先在 百度智能云词元所 这类大模型 API 服务平台上完成模型发现与选型,再决定哪些流量走自建网关、哪些直接走平台统一 API。
个人验证阶段用内置 SQLite 即可,一条命令启动:
docker run -d --name new-api \--restart always \-p 3000:3000 \-e TZ=Asia/Shanghai \-v /data/new-api:/data \calciumion/new-api:latest
生产环境建议切换到外部数据库,便于备份与多实例共享状态:
docker run -d --name new-api \-p 3000:3000 \-e SQL_DSN="user:password@tcp(127.0.0.1:3306)/new-api" \-e REDIS_CONN_STRING="redis://127.0.0.1:6379" \-e SESSION_SECRET="<32位以上随机串>" \-v /data/new-api:/data \calciumion/new-api:latest
三个关键参数的作用:SQL_DSN 决定数据持久化后端(MySQL/PostgreSQL 均可);REDIS_CONN_STRING 用于缓存与会话共享,是集群部署的前置条件;SESSION_SECRET 必须显式设置为随机值,否则多实例登录态会互相失效。具体镜像 tag 与参数名请以官方文档为准,本文示例仅作结构参考。
渠道(Channel)是网关到上游服务商的映射单元,配置质量直接决定可用性。以接入 OpenAI 兼容服务为例:
OpenAI;若上游是百度智能云千帆,则选择「百度文心千帆 V2」。default)、Base URL。到「令牌」页面创建访问令牌,供业务侧使用。
模型映射(别名)是平滑升级的关键。 在渠道的模型重定向字段中写入 yi-large:yi-large-1.5t 这类映射,业务代码始终请求 yi-large,底层实际调用 yi-large-1.5t;上游版本迭代时只改网关映射,调用方代码零改动。同理,可把业务自定义的 chat-default 映射到 ernie-4.0-turbo-128k 等具体模型。
客户端调用完全遵循 OpenAI 协议:
curl https://gateway.example.com/v1/chat/completions \-H "Authorization: Bearer sk-你的网关令牌" \-H "Content-Type: application/json" \-d '{"model": "chat-default","messages": [{"role": "user", "content": "总结这段日志的异常原因"}]}'
接口中转层在这里扮演适配器角色:接收客户端请求,按请求类型与目标接口路由转发,并完成协议转换。落地时建议遵循三条原则:
tools、response_format、多模态消息体在转换成其他厂商协议时字段可能丢失或改名,上线前用真实请求体逐字段回归。若上游本身是千帆,可直接使用其 OpenAI 适配器降低转换损耗。网关内的额度计算可抽象为:
消耗额度 = (输入 Token + 输出 Token × 补全倍率) × 模型倍率 × 分组倍率
其中模型倍率反映不同模型的单价差异,分组倍率用于给不同业务线做差异化定价。配套的限流通常有两层:令牌维度的总额度上限,以及渠道/用户维度的 RPM、TPM 并发限制。
降本有四个可直接执行的动作:
可用性 :官方宣称服务可用性达 99.9%,但这只覆盖网关自身;端到端可用性还取决于上游配额、网络与限流策略。生产环境应做到:多实例 + 外部数据库 + Redis、渠道冗余与自动禁用、日志与指标落盘、关键渠道配置变更留痕。
安全 :网关持有全量上游密钥,是攻击者的高价值目标。必须做到——管理后台不暴露公网或加 IP 白名单、密钥加密存储且最小权限分配、令牌按业务分权并设置额度与过期时间、定期审计调用日志。此外,New API 在 2026 年 4 月被证实存在一项高风险支付逻辑漏洞,官方随后发布了修复版本,因此 版本更新要及时跟进 ,涉及计费与充值的部署尤其不能长期停留在旧版本。
许可与数据 :AGPLv3 意味着修改后的代码若作为网络服务提供,需履行相应开源义务,商业闭源集成前请让法务确认。对数据不出域有硬性要求的场景,可考虑模型本地化部署方案,在专有网络内完成推理。
| 维度 | 自建 New API | 平台化接入 |
|---|---|---|
| 多供应商聚合 | 强,渠道自由扩展 | 平台已聚合主流模型 |
| 计费与审计 | 完全自定义 | 平台侧账单与调用管理 |
| 运维成本 | 需自行保障高可用与升级 | 免运维 |
| 合规与数据隔离 | 可内网私有化 | 依平台方案而定 |
务实的做法是组合使用:用 New API 做统一出口、密钥收敛与内部计费,上游渠道则同时挂自建服务与平台服务。选型阶段先在 百度智能云词元所 完成模型能力匹配与价格对比,把结论直接写进网关的模型映射与倍率配置;需要一站式模型精调、应用编排能力时,也可评估千帆这类企业级平台的全生命周期工具链与行业数据集支持。
落地检查清单 :数据库与 Redis 就绪 → 渠道连通性测试通过 → 模型映射与分组确定 → 倍率与限流阈值设定 → 令牌分权与额度上限 → 日志审计与告警接入 → 版本更新机制建立。七步走完,这套网关才算真正可交付。