Windows量化版ChatGLM6B模型搭建指南

简介：本文详细介绍了在Windows环境下搭建ChatGLM-6B-int4量化版模型的全过程，包括环境准备、模型安装、问题解决等步骤，并提供了成果案例。

Windows环境下搭建 ChatGLM-6B-int4量化版模型（图文详解-成果案例）

一、引言

ChatGLM-6B是一个开源的双语对话语言模型，由清华大学知识工程和数据挖掘小组（KEG）发布。该模型具有62亿参数，能够生成符合人类偏好的回答。而ChatGLM-6B-int4是其量化版本，可以在消费级显卡上进行本地部署，占用资源更少，适合在个人电脑上进行测试和使用。本文将详细介绍在Windows环境下搭建ChatGLM-6B-int4量化版模型的全过程。

二、环境准备

在搭建模型之前，需要准备以下环境：

硬件环境：
- 一台Windows操作系统的电脑，无需独立显卡（GPU），但建议使用较高配置的CPU。
软件环境：
- Python：建议使用Python 3.10版本。
- Anaconda：用于管理Python环境和依赖包。
- Git：用于从GitHub上拉取代码。
- TDM-GCC：为模型的一些C代码提供编译环境。

三、安装步骤

安装Anaconda：
- 从Anaconda官网下载Anaconda安装包，按照提示进行安装。
- 安装完成后，在环境变量Path中添加Anaconda相关的路径。
安装Git：
- 从Git官网下载Git安装包，按照提示进行安装。
- 安装完成后，通过命令git --version检查版本信息。
安装TDM-GCC：
- 从TDM-GCC官网下载TDM-GCC安装包，按照提示进行安装。
下载模型源码并安装依赖：
- 打开命令提示窗口，使用git clone命令从GitHub上拉取ChatGLM-6B的代码：
```
git clone https://github.com/THUDM/ChatGLM-6B.git
```
- 切换到ChatGLM-6B目录，并创建conda的虚拟环境：
```
cd ChatGLM-6B
conda create -n chatglm6b python=3.10
conda activate chatglm6b
```
- 安装依赖包：
```
pip install -r requirements.txt
```
下载量化模型：
- 由于量化模型chatglm-6b-int4在Hugging Face Hub上，需要科学上网或使用国内镜像源下载。
- 下载完成后，将模型文件解压到ChatGLM-6B目录下的model文件夹中（如果没有该文件夹则新建）。

修改运行脚本：

打开ChatGLM-6B目录下的cli_demo.py文件，修改模型加载代码为加载chatglm-6b-int4量化模型：

tokenizer = AutoTokenizer.from_pretrained("chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).float()

四、问题解决

在搭建过程中，可能会遇到以下问题：

报错：No module named ‘readline’：
- 解决方案：在当前激活的虚拟环境中安装pyreadline：
```
pip install pyreadline
```
报错：AttributeError: module ‘collections’ has no attribute ‘Callable’：
- 解决方案：修改pyreadline依赖包中的py3k_compat.py文件，将return isinstance(x, collections.Callable)改为return isinstance(x, collections.abc.Callable)。

五、成果案例

经过上述步骤，我们成功在Windows环境下搭建了ChatGLM-6B-int4量化版模型。启动cli_demo.py脚本后，可以在控制台中看到模型输出的回答。虽然由于电脑配置的问题，结果输出可能较为缓慢，但已经成功实现了模型的本地部署和测试。

六、总结

本文详细介绍了在Windows环境下搭建ChatGLM-6B-int4量化版模型的全过程，包括环境准备、模型安装、问题解决等步骤。通过本文的指导，读者可以在个人电脑上成功部署和测试该模型，为后续的研究和应用打下基础。同时，本文也展示了成果案例，验证了搭建过程的正确性和有效性。在实际应用中，还可以结合千帆大模型开发与服务平台等工具，进一步优化和扩展模型的功能和应用场景。