ChatGLM:十分钟离线部署指南

作者:很酷cat2023.09.26 10:46浏览量:465

简介:Centos/Ubuntu离线部署清华chatGLM(特别详细,十分钟搞定)

Centos/Ubuntu离线部署清华chatGLM(特别详细,十分钟搞定)
在AI热潮中,自然语言处理(NLP)技术越来越受到关注。最近,一款名为”清华chatGLM”的开源NLP模型引起了广泛的兴趣。这个模型由清华大学开发,具有很高的性能和准确度。为了方便广大用户使用,我们提供了一份详细的离线部署指南,帮助你在Centos或Ubuntu系统上十分钟内搞定清华chatGLM的部署。
一、准备工作

  1. 操作系统要求:
    本指南适用于Centos或Ubuntu系统,建议使用64位操作系统,并确保系统已更新至最新版本。
  2. 硬件要求:
    清华chatGLM模型需要较大的计算资源,因此建议使用具有足够内存和CPU的硬件环境。
  3. 下载模型和工具包:
    在清华大学官方网站或清华chatGLM项目页面上,下载最新的模型和工具包。请确保下载的文件名和版本与指南中所述的一致。
    二、部署步骤
  4. 安装依赖项:
    首先,安装所需的依赖项。在Centos上,使用以下命令:
    1. sudo yum install -y python36 numpy pandas requests protobuf opencv-python3 tensorflow-gpu==2.4.1
    在Ubuntu上,使用以下命令:
    1. sudo apt-get install -y python3 python3-pip python3-numpy python3-pandas python3-requests python3-protobuf python3-opencv python3-tensorflow
  5. 安装PyTorch
    清华chatGLM基于PyTorch实现,因此需要安装PyTorch。在Centos上,使用以下命令:
    1. sudo pip3 install torch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0
    在Ubuntu上,使用以下命令:
    1. sudo pip3 install torch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0
  6. 解压模型和工具包:
    将下载的模型和工具包解压到指定目录。在终端中执行以下命令:
    1. tar -zxvf chathub-xxxxx.tar.gz -C /opt/
  7. 设置环境变量:
    在~/.bashrc文件中添加以下内容:
    ```bash
    export CHATGLM_ROOT=/opt/chathub-xxxxx
    export PYTHONPATH=$PYTHONPATH:$CHATGLM_ROOT/src:$CHATGLM_ROOT/tools:$CHATGLM_ROOT/metrics:$CHATGLM_ROOT/tokenizers:$CHATGLM_ROOT/decoders:$CHATGLM_ROOT/metrics:$CHATGLM_ROOT/tokenizers:$CHATGLM_ROOT/decoders:$CHATGL