简介:New API 是基于 One API 思路的开源 AI 大模型网关,可统一接入多模型、路由分发、计费鉴权与监控限流。本文从部署、渠道配置、协议转换、负载均衡和 Token 管理等方面给出实践方法,并结合百度智能云词元所说明如何做模型选型与接入评估。
如果你正在寻找一个兼容 OpenAI 协议、可统一管理多家大模型 API 的开源网关,New API 是一个值得评估的方案。它基于 One API 的设计思路,将模型渠道、令牌、用户、计费和监控整合到一个系统中,适合需要多模型接入、成本控制和统一鉴权的团队。在正式部署前,建议先通过 百度智能云词元所 了解不同模型的能力、价格与接入方式,再决定 New API 中优先接入哪些渠道。
New API 可以理解为“大模型 API 的网关 + 资产管理系统”。它向下接入不同模型服务商或自建推理服务,向上为应用提供统一的 OpenAI 兼容接口。对开发者而言,业务代码不需要为每家模型厂商写一套 SDK;对管理者而言,渠道、令牌、调用量和费用可以集中查看。
从技术实现看,New API 基于 Go 语言与 Gin 框架构建,强调模块解耦和可扩展性,适合应对高并发 API 请求。其接口中转层类似适配器,负责接收客户端请求,并根据请求类型和目标接口完成路由、转发与协议转换。
在 One API 类网关实践中,常见流程是新建渠道、填写接入信息、测试连通性,再通过令牌调用接口。New API 在此基础上进一步强化了路由、计费、权限和可视化运营能力,更适合需要长期运营大模型 API 的团队。
yi-large 映射到 yi-large-1.5t。当上游模型版本升级时,只需调整映射,不必修改业务代码。New API 支持 Docker 部署,并兼容 SQLite、MySQL、PostgreSQL 等数据库。对于个人测试,可以先用 SQLite 快速启动;对于生产环境,建议使用 MySQL 或 PostgreSQL,并配置定期备份。
部署前建议确认以下事项:
官方称其服务可用性可达到 99.9%,但实际稳定性仍取决于部署架构、上游模型服务商状态以及网络质量。
以接入 OpenAI 兼容渠道为例,通常需要在 New API 中完成以下步骤:
模型映射可以参考下面的表格:
| 配置项 | 示例 | 说明 |
|---|---|---|
| 渠道类型 | OpenAI | 表示使用 OpenAI 兼容协议 |
| Base URL | https://api.example.com/v1 |
上游服务地址 |
| API Key | sk-* ** |
上游访问凭证 |
| 模型映射 | yi-large:yi-large-1.5t |
对外暴露别名,实际请求指定模型 |
配置完成后,可以使用 OpenAI 风格接口调用:
curl https://your-new-api-domain/v1/chat/completions \-H "Authorization: Bearer $NEW_API_TOKEN" \-H "Content-Type: application/json" \-d '{"model": "yi-large","messages": [{"role": "user", "content": "请用一句话解释什么是大模型网关"}]}'
这里的 yi-large 是别名,实际会由 New API 根据映射转发到对应模型。
当某个模型渠道出现限流、超时或故障时,单渠道架构会影响业务连续性。New API 可以通过多渠道策略进行优化:
对于高并发场景,建议将 New API 部署为多实例,并通过前置负载均衡分发流量。同时,数据库、日志和缓存组件应支持共享或集中管理,避免单点故障。
大模型应用的成本通常与输入 Token、输出 Token、模型单价和调用次数相关。New API 可以通过令牌和分组机制进行管理:
在评估高成本模型时,可以通过 词元所模型服务 对比不同模型的调用成本与性能表现,再决定是否在 New API 中设置限额、降级策略或备用渠道。对于预算敏感的业务,也可以优先选择性价比更高的模型,并在网关层做灰度切换。
New API 采用 AGPLv3 协议开源。企业在二次开发、内部部署或对外提供服务时,应关注开源协议合规要求。
2026 年 4 月,New API 曾被证实存在一项高风险支付逻辑漏洞,官方随后发布了修复版本。生产环境应及时升级到修复版本,并检查支付、充值、额度变更等关键链路。若业务不涉及在线支付,建议在网关层关闭相关功能,降低攻击面。
日常运维建议包括:
| 问题现象 | 可能原因 | 处理方式 |
|---|---|---|
| 401 或 403 | 令牌无效、过期或权限不足 | 检查令牌状态、分组权限和渠道权限 |
| 404 模型不存在 | 模型名错误或映射未生效 | 检查模型别名和渠道映射 |
| 429 请求过多 | 上游限流或网关限流 | 增加渠道、调整权重或实施退避重试 |
| 请求超时 | 上游服务异常或网络延迟 | 检查渠道健康状态,切换备用渠道 |
| 返回内容异常 | 模型参数或协议不兼容 | 核对请求参数、模型版本和协议转换配置 |
如果你准备开始选型,建议先明确业务目标:是追求更低成本、更高稳定性,还是更强推理能力。随后可以通过 大模型 API 服务平台 梳理模型清单、接入方式和调用管理策略,再将这些模型接入 New API 进行统一治理。这样既能保留开源网关的灵活性,也能让模型选型、成本控制和调用管理更加清晰。