简介:本文讨论如何通过LLM网关接入deepseek,帮助企业实现业务侧大模型的负载均衡
近日,国产AI 大模型 DeepSeek 在中美科技圈引发热议,被誉为大模型领域的“黑马”。
1月27日,DeepSeek 应用登顶苹果中国区和美区应用商店免费 App下载榜,甚至在美区超越了 ChatGPT,成为榜首。DeepSeek 的崛起无疑为全球 AI 领域注入了新的活力,也让全球看见中国 AI 团队的创新能力。
ragmentbodyhtml.jpg">
开源 LLM 网关 APIPark 之前已经支持 DeepSeek 的接入了,只需简单几步,即可在 APIPark 上调用 DeepSeek 的 API, 而且还有上百款 LLM 可替换。
步骤1:配置 DeepSeek 为 AI 供应商进入 系统设置 模块,在侧边栏中选择 AI 模型管理,在列表中可以找到 DeepSeek。
填写 供应商配置,每个供应商有不同的配置信息,系统会自动根据你选择的供应商来生成所需的配置信息。可以点击弹窗左下角,在 DeepSeek 官网出获得配置信息。
步骤2:创建并发布 AI 服务进入 工作空间 模块填写 AI 服务的基本信息、配置管理权限和订阅审核形式 等。完成创建 AI 服务后,APIPark 会自动在服务里创建一个默认的 聚合 API(Unified API),可以直接通过这个聚合 API 来调用 AI 服务。
随着企业对 AI 应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案,来确保 AI 基础设施的高可用性、低延迟和无缝扩展。除了 DeepSeek 外,APIPark 还支持多款主流大模型,包括 OperAI、Anthropic、Bedrock、Gemini …等等。
可以在 APIPark 给当前 AI 供应商配置一个负载优先级的字段,该字段识别在其他供应商异常的情况下,其关联的 API 优先调用其他 AI 大模型。优先级数字越靠前(越小)的优先级越高,优先调用该供应商的默认模型。
APIPark 有效优化了请求在多个大型语言模型实例之间的分配,确保在大型语言模型之间的无缝切换,减少业务因外部因素的影响。
直接登录 APIPark 官网 查看部署教程,5分钟即可快速部署。