Langchain-Chatchat031详细部署指南

简介：本文提供了Langchain-Chatchat0.3.1版本的详细部署教程，包括环境搭建、模型部署框架安装、模型下载与启动、项目运行等步骤，旨在帮助用户快速搭建本地大模型知识库。

Langchain-Chatchat0.3.1作为一个开源、可离线部署的RAG与Agent应用项目，为中文场景与开源模型提供了友好的支持。本文将详细介绍如何从零开始部署Langchain-Chatchat0.3.1，帮助用户搭建自己的本地大模型知识库。

一、环境搭建

在部署之前，首先需要确保你的机器满足以下要求：

操作系统：支持Windows、macOS、Linux。
Python版本：3.8至3.11（推荐使用Python3.11）。
硬件资源：根据项目需求，确保有足够的CPU、GPU或NPU资源。

接下来，按照以下步骤进行环境搭建：

安装英伟达驱动、CUDA、cudnn（如使用GPU）。
创建虚拟环境：为避免依赖冲突，建议为每个项目创建独立的虚拟环境。使用Anaconda或conda工具创建并激活虚拟环境。
```
conda create --name langchain python=3.11
conda activate langchain
```

安装依赖库：下载并安装Langchain-Chatchat及其依赖库。

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
pip install "langchain-chatchat[xinference]" -U -i https://pypi.tuna.tsinghua.edu.cn/simple

二、安装模型部署框架

Langchain-Chatchat支持多种模型部署框架，如Xinference、Ollama、LocalAI等。本教程以Xinference为例进行说明。

创建并激活新的虚拟环境：为避免依赖冲突，将Langchain-Chatchat和Xinference放在不同的虚拟环境中。
```
conda create --name xinfer python=3.11
conda activate xinfer
```

安装Xinference：根据需求安装Xinference及其依赖库。

pip install "xinference[all]" -U -i https://pypi.tuna.tsinghua.edu.cn/simple

三、下载与启动模型

运行Xinference：通过命令行启动Xinference本地推理服务。
```
XINFERENCE_HOME=/path/to/xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997
```
启动后，访问http://<服务器ip>:9997即可进入Xinference的WebGUI界面。
下载并启动模型：在Xinference的WebGUI界面中，选择需要部署的模型，如Qwen或 ChatGLM，并填写相应的参数进行一键部署。也可以手动下载模型文件，并在Xinference中注册和启动。

四、配置与初始化Langchain-Chatchat

设置Chatchat存储目录：可选地设置Chatchat存储配置文件和数据文件的根目录。

export CHATCHAT_ROOT=/path/to/chatchat_data  # Linux或macOS
set CHATCHAT_ROOT=/path/to/chatchat_data  # Windows

初始化Chatchat：执行初始化命令，生成配置文件。
```
chatchat init
```
修改配置文件：打开生成的配置文件（如model_settings.yaml），根据需求修改模型配置信息，包括LLM模型、Embedding模型等。
初始化知识库：在执行知识库初始化前，请确保已经启动模型推理框架及对应Embedding模型。
```
chatchat kb -r
```

五、启动项目

完成上述配置后，即可启动Langchain-Chatchat项目。

chatchat start -a

默认访问地址为http://<服务器ip>:8501，进入Chatchat前端页面即可开始使用。

六、高级功能与应用

Langchain-Chatchat还支持多种高级功能与应用，如多模态图片对话、ARXIV文献对话、文生图等。用户可以根据需求进一步探索和配置这些功能。

此外，千帆大模型开发与服务平台作为专业的AI开发与服务平台，也提供了对Langchain-Chatchat等开源项目的支持与服务。用户可以在千帆平台上获取更多的模型资源、开发工具和技术支持，以加速AI应用的开发与部署。

通过本文的详细教程，相信你已经能够成功部署Langchain-Chatchat0.3.1，并搭建起自己的本地大模型知识库。在未来的使用中，不断探索和优化你的AI应用，将为你带来更多的价值和收益。