简介:本文介绍了如何在群晖Docker环境中部署本地聊天机器人,并通过内网穿透工具Cpolar将聊天机器人发布到公网,实现远程访问。文章详细阐述了部署过程、配置方法以及内网穿透的步骤。
随着人工智能技术的飞速发展,大语言模型的应用越来越广泛,聊天机器人便是其中之一。它们可以根据用户输入的文本生成相应的响应,提供个性化的建议和服务。本文将详细介绍如何在群晖Docker环境中部署本地聊天机器人,并通过内网穿透工具Cpolar将其发布到公网,以便远程访问。
在开始部署之前,需要确保以下几点:
首先,需要在群晖Docker中拉取相关的Docker镜像。由于群晖版本可能无法直接在控制面板的Docker界面搜索下载镜像,因此采用命令行方式进行镜像下载。
开启群晖SSH连接,然后使用工具通过SSH连接上群晖,执行以下命令拉取Ollama和Chatbot-Ollama镜像:
sudo docker pull ollama/ollama:latest
sudo docker pull ghcr.io/ivanfioravanti/chatbot-ollama:main
选中Ollama镜像,点击运行进入配置界面。设置外部访问的端口(如11434),与容器内部端口一致,然后点击完成即可运行Ollama。
运行后,打开容器界面,可以看到运行的服务。接着下载并运行Llama 2模型。选中ollama容器,点击操作,然后打开终端机,进入终端命令界面,执行ollama run llama2
命令,等待下载完成即可。
选中Chatbot-Ollama镜像,点击运行并进行设置。设置对外端口(如3001),并设置一个环境变量,该变量为连接Ollama框架服务的地址(如http://群晖局域网IP:11434
)。设置完成后,点击完成即可运行Chatbot-Ollama镜像。
在浏览器中输入群晖的局域网IP地址加设置的端口号(如http://群晖局域网IP:3001
),即可看到聊天机器人的Web交互界面。输入文字即可与聊天机器人进行对话。
下载Cpolar群晖套件安装包,打开群晖套件中心,点击右上角的手动安装按钮,选择本地下载好的Cpolar套件安装包进行安装。安装完成后,在外部浏览器中输入群晖的局域网IP地址加9200端口访问Cpolar的Web管理界面,输入Cpolar邮箱账号与密码进行登录。
在Cpolar管理界面,点击左侧仪表盘的隧道管理——创建隧道,创建一个新的公网地址隧道。
设置完成后,点击创建。隧道创建成功后,在在线隧道列表中查看所生成的公网访问地址。
使用Cpolar生成的公网地址,在任意设备浏览器中输入访问,即可看到聊天机器人的主界面,实现远程访问。
通过本文的介绍,我们成功地在群晖Docker环境中部署了本地聊天机器人,并通过Cpolar内网穿透工具将其发布到公网,实现了远程访问。这一解决方案不仅适用于聊天机器人,还可以应用于其他需要远程访问的内网服务。希望本文能对有需求的读者有所帮助。
此外,在部署过程中,我们还发现千帆大模型开发与服务平台提供了丰富的模型和工具,可以进一步简化聊天机器人的开发和部署过程。如果需要更高效、更便捷的解决方案,可以考虑借助该平台的相关服务。同时,曦灵数字人和客悦智能客服等产品也是值得关注的AI应用,它们在不同的应用场景下都能发挥出色的作用。