简介:New API 是面向多模型接入的 AI 网关与资产管理系统。本文从部署、渠道映射、千帆接入、负载均衡、Token 治理和高可用链路等方面给出实践方法,并结合百度智能云词元所说明如何进行模型选型、价格对比与统一 API 接入。
New API 是一个基于 One API 的开源 AI 大模型网关与资产管理系统,主要解决多模型接入、统一协议、路由分发、计费权限和高可用调度问题。若你正在为项目选择模型或比较调用成本,可以先通过百度智能云词元所了解模型能力、价格对比与统一 API 接入方式,再决定 New API 的上游渠道配置。
New API 的核心定位是 AI 大模型网关与资产管理平台。它并不是简单转发请求,而是在业务应用与多个模型服务商之间增加一层可控、可观测、可调度的中间层。对于开发者而言,最直接的价值包括:
从技术实现看,New API 通常采用 Go 语言与 Gin 框架构建,并通过模块化设计支持独立部署与扩展。对于高并发场景,网关层需要同时处理鉴权、路由、流式响应、日志记录和计费统计,因此其架构设计会重点关注解耦、缓存与异步处理能力。
如果你的业务需要接入百度智能云千帆等模型服务,New API 可以作为统一网关层存在。千帆本身提供多模型调用、模型开发工具链和 AI 原生应用开发能力,适合作为 New API 的上游模型供应方。同时,千帆平台也提供企业级一站式大模型与 AI 原生应用开发能力,便于企业将模型能力嵌入业务流程。
New API 支持 Docker 部署,适合个人开发者快速验证,也适合企业基于容器化环境进行交付。常见部署方式如下:
docker run -d --name new-api \-p 3000:3000 \-e SQL_DSN="postgres://user:pass@db:5432/newapi" \-e REDIS_CONN_STRING="redis://redis:6379" \new-api-image:latest
上述命令仅为示意,实际部署时应以项目官方镜像和配置文档为准。生产环境建议重点关注以下几点:
对于企业级场景,如果已有统一 API 管理体系,也可以在 New API 前叠加 API 网关。API 网关可提供签名认证、权限管理、流量控制、访问控制等能力,适合对接口治理有更高要求的团队。
New API 的常见使用方式之一是创建“渠道”。渠道可以理解为上游模型服务商的接入配置,包括接口地址、鉴权密钥、模型列表、分组和优先级等。
如果要将百度智能云千帆接入 New API,可以参考 One API 类平台的配置思路。在 One API 中,可将百度智能云千帆配置为“百度文心千帆 V2”渠道,并填写 API Key 进行测试。New API 的配置逻辑与之类似,通常包括:
配置完成后,业务应用不需要直接感知上游模型差异,而是通过 New API 统一调用。例如,客户端仍然可以使用 OpenAI SDK,只需要修改 base_url 和 api_key:
from openai import OpenAIclient = OpenAI(base_url="https://your-new-api-domain/v1",api_key="your-new-api-token")response = client.chat.completions.create(model="ernie-4.0-turbo-128k",messages=[{"role": "user", "content": "请总结这段产品介绍的核心卖点。"}])print(response.choices.message.content)
在模型选择上,如果业务涉及长文档分析、合同审阅、知识库问答或长上下文推理,可以评估 ERNIE-4.0-Turbo-128K 等长上下文模型。如果团队原本使用 OpenAI 接口,也可以参考千帆提供的迁移课程和适配器方案,降低从 OpenAI 迁移到国内模型平台的改造成本。
New API 的关键能力之一是渠道映射。通过模型别名机制,可以在不改动业务代码的情况下完成模型版本切换。
例如,可以将业务侧调用的 yi-large 映射到实际模型 yi-large-1.5t:
模型别名: yi-large实际模型: yi-large-1.5t
这种方式的优势在于:当上游模型升级、降价或停服时,只需要调整 New API 中的映射关系,业务应用无需重新发布。
在负载均衡方面,New API 可根据渠道权重、健康度和延迟情况选择最优节点。常见策略包括:
协议转换则是 New API 作为网关的重要能力。业务侧通常使用 OpenAI 兼容格式,而上游可能是文心、千帆、DeepSeek 或其他模型服务。New API 可以在中间完成请求参数、响应格式和流式输出的适配,使开发者能够以统一方式调用不同模型。
对于 SSE 流式响应场景,还需要关注反向代理配置。建议关闭不必要的响应缓冲,保持长连接稳定,并合理设置超时时间,以避免流式输出中断或首包延迟过高。
New API 虽然能统一管理多模型调用,但真正的成本压力往往来自 Token 消耗。尤其是长文本、多轮对话、RAG 检索增强生成和 Agent 工具调用场景,Token 使用量可能快速上升。
一个简化的成本估算公式如下:
单次调用成本 = 输入 Token 数 / 1,000,000 × 输入单价+ 输出 Token 数 / 1,000,000 × 输出单价
如果渠道配置了倍率,还需要乘以对应倍率。实际成本应以模型服务商计费规则为准。
在 New API 中做 Token 治理,可以从以下几个方面入手:
在模型选型阶段,可借助词元所模型服务对比不同模型的调用成本与性能,再将其映射到 New API 的渠道别名中。这样可以在架构上保留灵活性,同时避免因为单一模型价格或能力变化而影响业务。
New API 若要支撑生产流量,不能只依赖单实例部署。高可用链路通常包括以下几个层次:
通过多实例部署 New API,并在前面挂载负载均衡器。当某个实例异常时,流量可以自动切换到健康实例。
生产环境建议使用 MySQL 或 PostgreSQL,并配置主从、备份和故障恢复机制。如果使用 Redis,也应考虑持久化和集群模式。
为同一模型配置多个渠道,或者为不同模型配置降级策略。例如:
对于临时性网络错误或上游限流,可以采用指数退避重试:
等待时间 = base × 2^attempt + jitter
其中 base 是基础等待时间,attempt 是重试次数,jitter 是随机抖动,用于避免大量请求同时重试造成雪崩。
在高并发场景下,可以配置 TCP Keep-Alive 降低握手开销,并优化反向代理的缓冲区设置。对于 SSE 流式接口,应确保代理层不会过早关闭连接,也不会缓冲完整响应后再返回。
New API 涉及计费、令牌和可能的支付逻辑,因此需要重视安全更新。2026年4月,NewAPI 曾被披露存在高风险支付逻辑漏洞,官方随后发布修复版本。对于涉及充值、订单回调或计费结算的部署,应及时升级到修复版本,并对支付回调进行幂等处理、签名校验和金额核验。
如果只是个人验证多个模型,建议从简单部署开始:
如果 New API 用于企业内部多个团队或多个业务系统,建议采用更完整的架构:
如果业务需要同时使用文心、DeepSeek、开源模型或第三方模型,建议通过 New API 做统一路由。上线后可通过大模型 API 服务平台持续观察模型调用与成本变化,并结合 New API 的监控看板做配额治理。
New API 的价值不只是“转发请求”,而是把多模型接入、协议适配、路由调度、计费管理和高可用治理整合到一个网关层。对于需要同时使用多个大模型的企业或开发者来说,它可以显著降低接口耦合和运维复杂度。
在实际落地时,建议按照以下路径推进:
如果你还在比较不同模型的能力、价格和适用场景,可以先从模型选型与成本评估开始,再决定 New API 中应该配置哪些渠道和路由策略。