deepin UOS AI自定义模型配置全攻略

作者:菠萝爱吃肉2024.11.26 18:56浏览量:32

简介:本文详细介绍了deepin UOS AI如何配置自定义模型,包括在线模型和本地模型的接入方式,以及Ollama开源大语言模型本地部署工具的使用,帮助用户实现更个性化的AI体验。

在deepin操作系统中,UOS AI作为智能化的重要一环,为用户提供了强大的AI助手功能。为了让UOS AI更加开放和强大,支持更多的大模型,deepin开放了UOS AI的模型接入接口。本文将详细介绍如何在UOS AI中配置自定义模型,包括在线模型和本地模型的接入方式。

一、UOS AI自定义模型接口规范

UOS AI的自定义模型接口规范为OpenAI的/v1/chat/completions,这意味着只有提供了OpenAI兼容接口的模型服务才可以被添加到UOS AI中使用。这一规范为用户提供了广泛的模型选择空间,同时也保证了模型的兼容性和稳定性。

二、在线模型接入方式

1. 月之暗面模型接入

  • 获取API:首先,需要打开月之暗面的API说明,获取模型名称和Domain(请求地址)。请求地址通常为https://api.moonshot.cn/v1/chat/completions,但在UOS AI中填入时,需要去掉/chat/completions部分,实际填入为https://api.moonshot.cn/v1
  • 获取API Key:登录月之暗面控制台,进入API Key管理,点击右侧“创建”按钮生成API Key,并在此界面复制生成的密钥。
  • 添加模型:进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”,然后填入API Key、账号名称(任意填写)、模型名称(填入月之暗面API声明的模型名称,如moonshot-v1-8k)和请求地址。点击确认,完成校验后即可在对话窗口中使用。

2. 智谱模型接入

  • 获取API:进入智谱AI开发平台,查询模型API。请求地址为https://open.bigmodel.cn/api/paas/v4/chat/completions。模型名称为glm-4
  • 获取API Key:进入智谱API keys界面,点击右侧“添加新的API key”按钮,并在生成的新key后点击复制按钮。
  • 添加模型:与月之暗面类似,进入UOS AI设置界面,添加模型,并填入相关信息。注意,请求地址需要去掉/chat/completions部分,实际填入的为https://open.bigmodel.cn/api/paas/v4

三、本地模型接入方式

对于希望在本地部署大语言模型的用户,可以使用Ollama这一开源的大语言模型本地部署工具。通过Ollama,用户可以方便地在本机部署开源大模型,并与UOS AI进行对接。

1. 安装Ollama

  • 仓库地址Ollama GitHub仓库
  • 安装步骤:按照教程在deepin V23中安装ollama程序。可以执行以下命令直接安装:curl -fsSL https://ollama.com/install.sh | sh。编译安装和Docker安装的具体步骤请参阅Github中的说明。

2. 运行Ollama模型

  • 服务地址:Ollama的默认服务地址为127.0.0.1:11434
  • 运行模型:安装完成后,在终端运行模型,如Qwen2的7B模型:ollama run qwen2:7b。模型第一次运行会自动下载,根据网络情况需要等待一段时间。

3. 在UOS AI中添加本地模型

  • 进入添加界面:进入UOS AI的模型添加界面,选择模型类型为“自定义”。
  • 填写信息:账号名称可以随意填写;API Key方面,由于Ollama未开启鉴权,可以随意填写;模型名填写Ollama运行的模型名称,如qwen2:7b;模型请求地址填写Ollama的OpenAI兼容接口,即http://127.0.0.1:11434/v1/chat/completions(在UOS AI中只需填入http://127.0.0.1:11434/v1)。
  • 完成添加:完成上述信息填写后,点击确认,即可在UOS AI中与本地模型进行对话。

四、总结

通过本文的介绍,我们了解了deepin UOS AI如何配置自定义模型的过程。无论是接入在线模型还是本地模型,UOS AI都提供了便捷的操作方式和广泛的选择空间。这使得用户可以根据自己的需求和喜好,选择最适合自己的大模型进行配置,从而实现更加个性化的AI体验。同时,随着模型接口的不断开放和更新,用户将在UOS AI中体验到更多优秀的国内外大模型带来的智能服务。在这个过程中,千帆大模型开发与服务平台作为专业的模型开发和服务平台,也可以为用户提供丰富的模型资源和专业的技术支持,助力用户在智能化道路上走得更远。