ChatGLM3本地部署实战指南：从安装到应用的全面解析

ChatGLM3本地部署实战指南

引言

ChatGLM3是由智谱AI和清华大学KEG实验室联合发布的对话预训练模型，以其强大的自然语言处理能力和开源特性受到广泛关注。本文将详细介绍ChatGLM3的本地部署过程，帮助读者从零开始，快速搭建起自己的对话系统。

一、环境准备

1. 安装Python环境

ChatGLM3要求Python版本3.7以上。推荐使用Anaconda来管理Python环境，因为它可以方便地创建和管理虚拟环境，避免不同项目之间的依赖冲突。

• 下载并安装Anaconda：从Anaconda官网下载对应操作系统的安装包，并按照官方指南进行安装。
• 创建虚拟环境：打开终端或命令提示符，使用以下命令创建一个新的虚拟环境（以Python 3.10为例）：

  conda create -n chatglm3 python=3.10
  conda activate chatglm3

2. 安装Git和Git LFS

由于ChatGLM3的预训练模型存储在Hugging Face Hub上，且模型文件较大，因此需要使用Git LFS来下载。Git LFS是Git的一个扩展，用于处理大文件。

• 安装Git：大多数Linux发行版和MacOS都自带Git，Windows用户可以从Git官网下载并安装。

• 安装Git LFS：在终端或命令提示符中执行以下命令安装Git LFS：

  # 对于Linux/MacOS
  curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
  sudo apt-get install git-lfs
  # 对于Windows，请从Git LFS官网下载并安装

二、下载ChatGLM3项目与模型

1. 下载ChatGLM3项目

访问GitHub上的ChatGLM3仓库，点击“Code”按钮，选择“Download ZIP”下载项目压缩包，或使用Git克隆仓库：

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

2. 下载预训练模型

ChatGLM3的预训练模型可以从Hugging Face Hub或ModelScope等平台下载。由于Hugging Face Hub可能因网络问题无法直接访问，推荐使用ModelScope或其他镜像站点。

• 使用Git LFS从Hugging Face Hub下载（如果网络允许）：

  git lfs install
  git clone https://huggingface.co/THUDM/chatglm3-6b
  # 或者使用镜像站点
  git clone [镜像站点URL]/THUDM/chatglm3-6b

• 从ModelScope下载：

  git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

三、安装依赖并启动项目

1. 安装依赖库

在项目目录下，执行以下命令安装所需的依赖库：

pip install -r requirements.txt

2. 修改代码以加载本地模型

根据项目提供的示例代码，找到cli_demo.py、web_demo.py或openai_api.py等文件，修改其中的模型加载路径，指向你下载的预训练模型目录。

3. 启动项目

• 命令行Demo：运行python cli_demo.py，在命令行中进行交互式对话。
• 网页版Demo：运行python web_demo.py，在浏览器中打开输出的地址进行交互。
• API部署：修改openai_api.py中的Host和Port，运行python openai_api.py，将接口地址配置到你的ChatGPT应用或其他基于ChatGPT的应用中。