【ChatGLM2-6B】从0到1部署GPU版本

曾经终败给现在 2024-02-20 10:59 40阅读 0赞

## 准备机器资源 ##

*  显卡: 包含NVIDIA显卡的机器，如果是阿里云服务器可以选择**ecs.gn6i-c4g1.xlarge**规格
 *  硬盘: 大约**50G**左右
 *  操作系统: **CentOS 7.9 64位**
 *  CPU内存: **4C16G**

## 更新操作系统 ##

sudo yum update -y
    sudo yum upgrade -y

## 下载并安装anaconda ##

*  在命令行中，输入以下命令，点击Enter，开始下载anaconda安装包。

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

*  系统系统下载完成后，输入下列命令，点击Enter，开始安装。

bash Anaconda3-2023.09-0-Linux-x86_64.sh

*  遇到如下界面后，点击**Enter**，继续安装过程。

...
    Please, press ENTER to continue
    >>>

*  出现下面的界面后，继续点击**Enter**。

...
    ---More---

*  直到出现提示**Do you accept the license terms? \[yes|no\]**，输入**yes**，点击**Enter**继续。
 *  出现如下提示，点击**Enter**继续，等待**anaconda**完成安装，大约需要**1**分钟

...
    [/root/anaconda3] >>>

> 也可以输入其它路径做为**anaconda**的安装位置，比如/home/anaconda3

*  等待出现如下提示后，输入**yes**，点击**Enter**, 完成安装。

...
    by running conda init? [yes|no]
    [no] >>> yes

*  关闭当前终端界面，重新打开一个新的终端界面

> 注：接下来所有的操作都在新的终端中完成，命令行最左边，出现(base)字样，代表anaconda已启动。

## 创建Python虚拟环境 ##

*  conda创建虚拟环境: `conda create --name ChatGLM2 python=3.10.6 -y`

>  *  –name 后面ChatGLM2为创建的虚拟环境名称
>  *  python=之后输入自己想要的python版本
>  *  \-y表示后面的请求全部为yes，这样就不用自己每次手动输入yes了。

*  激活虚拟环境: `conda activate ChatGLM2`

## 安装NVIDIA显卡驱动 ##

*  官网: `http://www.nvidia.com/Download/index.aspx`  
    ![在这里插入图片描述][f6ab4a32867542f998a76b4f8c6d8352.png]
 *  选择**CUDA 12.0**下载驱动: `wget https://cn.download.nvidia.cn/tesla/525.125.06/NVIDIA-Linux-x86_64-525.125.06.run`
 *  安装驱动: `sudo sh NVIDIA-Linux-x86_64-525.125.06.run -no-x-check -no-nouveau-check -no-opengl-files`

>  *  \-no-x-check \#安装驱动时关闭X服务
>  *  \-no-nouveau-check \#安装驱动时禁用nouveau
>  *  \-no-opengl-files \#只安装驱动文件，不安装OpenGL文件

*  安装完运行确认驱动安装成功: `nvidia-smi`  
    ![在这里插入图片描述][bb90bafd345f43ecb0504999a131e683.png]

## 安装Pytorch ##

*  输入如下命令，开始安装Pytorch。

conda install pytorch torchvision torchaudio pytorch-cuda=12.0 -c pytorch -c nvidia

> 如果显卡驱动选的CUDA是其它版本，就修改pytorch-cuda的版本号与驱动保持一致，显卡驱动和pytorch版本要保持一致才不会出现兼容性问题

*  出现提示**Proceed (\[y\]/n)?** 后，输入**y**，然后点击**Enter**继续安装过程。

...
    Proceed ([y]/n)? y

## 下载模型文件、代码仓库 ##

模型文件通常存放在 `hugging face`、魔搭社区等处。`代码仓库通常存放在github`。由于`hugging face`在国内无法正常访问，我们可以从清华大学源下载，本文从阿里云**OSS**下载。

*  首先安装**git lfs**，以便可下载模型文件

sudo yum install git
    sudo yum install git-lfs
    git lfs install

*  执行如下命令，安装unzip解压包

yum -y install unzip

*  下载ChatGLM2-6B代码仓库

wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/ChatGLM2-6B.zip
    unzip ChatGLM2-6B.zip

*  运行如下代码从`hugging face`下载模型文件。模型文件较大，超过`12G`。需要等待一段时间。

mkdir THUDM
    cd THUDM
    wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/chatglm2-6b.zip
    unzip chatglm2-6b.zip

> 在ChatGLM2-6B目录下创建THUDM目录

*  输入如下命令，安装依赖文件

pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/

## 运行ChatGLM2-6B对话网页 ##

*  输入如下命令，安装streamlit

pip install streamlit streamlit-chat

*  安装完成后，输入如下命令，运行网页版demo

streamlit run web_demo2.py

*  复制**External URL**中的网址，新打开一个浏览器，在其中输入上述地址。

Collecting usage statistics. To deactivate, set browser.gatherUsageStats to False.
    
    
      You can now view your Streamlit app in your browser.
    
      Network URL: http://xx.xx.xx.xx:8502
      External URL: http://xx.xx.xx.xx:8502

*  等待大约**2-3**分钟后，模型开始运行。出现如下界面。可以开始输入提示词，与模型对话。  
    ![在这里插入图片描述][ae771bb3a76f4c8886a4554bcf3a8e64.png]

[f6ab4a32867542f998a76b4f8c6d8352.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/87536ea6c2fb48d08d581f62c0d48dd0.png
[bb90bafd345f43ecb0504999a131e683.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/bf7650a45e284ad2955ebe0b984c3b4e.png
[ae771bb3a76f4c8886a4554bcf3a8e64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/8e1fa24050704a9aa5bb9b8802c7654b.png