简介:本文详细介绍了在deepin UOS AI中如何配置自定义模型,包括在线模型和本地模型的接入方法,以及Ollama工具的使用,帮助用户实现个性化AI体验。
在deepin操作系统中,UOS AI的引入为用户带来了前所未有的智能体验。为了让UOS AI更加个性化,满足用户的不同需求,deepin开放了UOS AI的模型接入接口,支持用户添加自定义模型。本文将详细介绍如何在deepin UOS AI中配置自定义模型,包括在线模型和本地模型的接入方法。
UOS AI的自定义模型接口规范为OpenAI的/v1/chat/completions,这意味着只有提供了OpenAI兼容接口的模型服务才能被添加到UOS AI中使用。目前,UOS AI已覆盖90%主流开源大模型与AI框架,用户可以根据自身需求,自行接入喜欢的大模型。
接入在线模型是UOS AI配置自定义模型的一种方式。以下以月之暗面和智谱为例,介绍如何接入在线模型。
(1)获取API:打开月之暗面API说明,获取模型名称和Domain(请求地址)。请求地址为:https://api.moonshot.cn/v1/chat/completions。由于UOS AI会在请求地址中自动添加/chat/completions,因此实际填入的地址需要去掉该部分,即:https://api.moonshot.cn/v1。
(2)获取API Key:登录月之暗面控制台,进入“API Key管理”,点击右侧“创建”按钮生成API Key,并复制生成的密钥。
(3)添加模型:进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”,然后填入API Key、账号名称(任意填写)、模型名称(填入月之暗面API声明的模型名称,如moonshot-v1-8k)和请求地址。点击确认,完成校验后即可在对话窗口中使用。
(1)获取API:进入智谱AI开发平台,查询模型API。请求地址为:https://open.bigmodel.cn/api/paas/v4/chat/completions。模型名称为glm-4。
(2)获取API Key:进入智谱API keys界面,点击右侧“添加新的API key”按钮,并在生成的新key后点击复制按钮。
(3)添加模型:进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”,然后填入API Key、账号名称(任意填写)、模型名称(填入智谱模型的模型名称,如glm-4)和请求地址(去掉/chat/completions部分,即:https://open.bigmodel.cn/api/paas/v4)。点击确认,完成校验后即可在对话窗口中使用。
其他兼容OpenAI API接口的在线模型皆可用以上方法接入。
除了接入在线模型外,UOS AI还支持接入本地模型。这需要使用到Ollama这一开源的大语言模型本地部署工具。
Ollama的仓库地址为:https://github.com/ollama/ollama。用户可以按照教程在deepin V23中安装ollama程序。执行以下命令直接安装ollama:
curl -fsSL https://ollama.com/install.sh | sh
编译安装、Docker安装等更多安装方式请参阅Github中的说明。
安装完成后,用户可以在终端运行模型。例如,运行Qwen2的7B模型:
ollama run qwen2:7b
模型第一次运行会自动下载,根据网络情况需要等待一会儿。
Ollama启动模型后,用户即可在UOS AI中添加该模型。
(1)进入UOS AI的模型添加界面,选择模型类型为“自定义”。
(2)账号名称:根据需要随意填写。
(3)API Key:Ollama未开启鉴权,可以随意填写。
(4)模型名:填写Ollama运行的模型名称,如前文运行的是qwen2:7b,那么这里就填qwen2:7b。
(5)模型请求地址:Ollama默认服务地址为127.0.0.1:11434,其OpenAI的兼容接口为http://127.0.0.1:11434/v1/chat/completions。因此在UOS AI中只需填入:http://127.0.0.1:11434/v1。
完成添加后即可在UOS AI中与本地模型对话。
通过本文的介绍,我们了解了在deepin UOS AI中配置自定义模型的详细步骤,包括接入在线模型和本地模型的方法。这些步骤简单明了,易于操作,可以帮助用户实现个性化的AI体验。随着deepin持续探索大模型与AI原生应用、自然语言交互兼容性、数据安全性等多个技术点,相信未来UOS AI将为用户带来更多优秀的国内外大模型选择,推动人工智能与基础软件的深度融合与发展。
此外,值得一提的是,在配置自定义模型的过程中,我们选择了Ollama这一开源工具进行本地模型的部署。这不仅降低了用户的部署成本,还提高了模型的灵活性和可扩展性。同时,Ollama丰富的模型仓库也为用户提供了更多的选择空间。因此,对于希望在deepin UOS AI中使用本地模型的用户来说,Ollama无疑是一个值得推荐的选择。
在享受UOS AI带来的智能体验时,我们也期待deepin能够不断优化和完善UOS AI的功能和服务,为用户带来更加便捷、高效和智能的使用体验。例如,未来可以进一步简化自定义模型的配置流程、提高模型的加载速度和响应效率、增加更多的AI应用场景等。这些都将有助于提升UOS AI的竞争力,吸引更多的用户选择和使用deepin操作系统。
另外,对于希望将UOS AI应用于企业级场景的用户来说,千帆大模型开发与服务平台或许是一个不错的选择。该平台提供了丰富的模型开发、部署和管理功能,可以帮助企业快速构建和部署定制化的AI应用。同时,千帆大模型开发与服务平台还支持与UOS AI的无缝对接,进一步降低了企业的开发和部署成本。因此,对于希望在企业级场景中应用UOS AI的用户来说,千帆大模型开发与服务平台无疑是一个值得考虑的选择。