Python：清华ChatGLM-6B中文对话模型部署

红太狼 2024-04-20 12:02 29阅读 0赞

#### 1、简介 ####

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

GitHub：[https://github.com/THUDM/ChatGLM-6B][https_github.com_THUDM_ChatGLM-6B]

#### 2、硬件要求 ####

**本机硬件：Win11 系统 + GeForce RTX 3070Ti 8GB 显存 + 16G内存**

#### 3、环境准备 ####

##### 3.1 安装Python #####

到Python官网下载[https://www.python.org/getit/][https_www.python.org_getit]指定版本：Python 3.10.0  
![在这里插入图片描述][76f01cd4e5a4416d81285b789ebab95f.png]  
安装这边就不多说了。

##### 3.2 安装TDM-GCC #####

如果需要在 cpu 上运行量化后的模型， 还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，**可在安装 TDM-GCC 时勾选 openmp**。Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。  
官网地址：[https://jmeubank.github.io/tdm-gcc/][https_jmeubank.github.io_tdm-gcc]

![在这里插入图片描述][2bcf7663be8741cb932f102434960118.png]

##### 3.3 安装插件 #####

进入当前从https://github.com/THUDM/ChatGLM-6B下载的目录下CMD:  
![在这里插入图片描述][72af5d38700048168bd064821285c340.png]

使用 pip 安装依赖：

pip install gradio
    pip install -r requirements.txt

遇到问题：

AssertionError: Torch not compiled with CUDA enabled

出现以上问题是因为pytorch版本和CUDA版本不一致导致的。

解决方法：  
A、通过nvidia-smi查看当前显存CUDA的版本号，从以下版本我们可以看出CUDA版本11.6  
![在这里插入图片描述][f1a3be13d4454bacbfb77a732eecf256.png]  
B、然后我们去pytorch查找CUDA版本11.6对应的版本  
pytorch官网：[https://pytorch.org/get-started/previous-versions/][https_pytorch.org_get-started_previous-versions]  
找到Wheel pip安装模式CUDA11.6版本对应的指令  
![在这里插入图片描述][2c30edf52bc74168970765d58b67bad2.png]  
在当前ChatGLM-6B目录下，执行匹配的指令：

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

##### 3.4、模型加载 #####

以上代码会由 transformers 自动下载模型实现和参数。完整的模型实现可以在 Hugging Face Hub。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。

从 Hugging Face Hub 下载模型需要先安装Git LFS，然后运行

git clone https://huggingface.co/THUDM/chatglm-6b

如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢，可以只下载模型实现

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

然后从这里手动下载模型参数文件，并将下载的文件替换到本地的 chatglm-6b 目录下。

将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。

因本机显存只有8G，顾采用4-bit来搭建本地放模型，直接从服务器下载4-bit资源到本地，服务器地址：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b-int4

下载完成直接存放到chatglm-6b-int4目录底下。  
![在这里插入图片描述][0aba298837c64d47be609057a3133d62.png]

#### 4、低成本部署 ####

因网络下载模型缓慢，所以采用本地加载的方式来加载模型，顾需要调整当前web\_demo.py等启动UI脚本,统一将**THUDM/chatglm-6b-int4**调整本地目录。

tokenizer = AutoTokenizer.from_pretrained("chatglm-6b-int4", trust_remote_code=True)
    model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).half().cuda()

##### 4.1 模型量化 #####

默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

model=AutoModel.from_pretrained("chatglm6b",trust_remote_code=True).quantize(4).half().cuda()

进行 2 至 3 轮对话后，8-bit 量化下 GPU 显存占用约为 10GB，4-bit 量化下仅需 6GB 占用。随着对话轮数的增多，对应消耗显存也随之增长，由于采用了相对位置编码，理论上 ChatGLM-6B 支持无限长的 context-length，但总长度超过 2048（训练长度）后性能会逐渐下降。

量化过程需要在内存中首先加载 FP16 格式的模型，消耗大概 13GB 的内存。如果你的内存不足的话，可以直接加载量化后的模型，仅需大概 5.2GB 的内存：

model = AutoModel.from_pretrained("chatglm-6b-int4", trust_remote_code=True).half().cuda()

##### 4.2 CPU 部署 #####

如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下（需要大概 32GB 内存）

model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).float()

如果你的内存不足，可以直接加载量化后的模型：

model = AutoModel.from_pretrained("chatglm-6b-int4",trust_remote_code=True).float()

##### 4.3 启动UI #####

###### 4.3.1 网页版 Demo ######

首先安装 Gradio：pip install gradio，然后运行仓库中的 web\_demo.py：

python web_demo.py

![在这里插入图片描述][b7e72375663a482688a67a63117113c6.png]

###### 4.3.2 命令行 Demo ######

运行仓库中 cli\_demo.py：

python cli_demo.py

程序会在命令行中进行交互式的对话，在命令行中输入指示并回车即可生成回复，输入 clear 可以清空对话历史，输入 stop 终止程序。

###### 4.3.3 API请求 ######

首先需要安装额外的依赖 pip install fastapi uvicorn，然后运行仓库中的 api.py：

python api.py

默认部署在本地的 8000 端口，通过 POST 方法进行调用

curl -X POST "http://127.0.0.1:8000" \
         -H 'Content-Type: application/json' \
         -d '{"prompt": "你好", "history": []}'

得到的返回值为

{
        
      "response":"你好?！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",
      "history":[["你好","你好?！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],
      "status":200,
      "time":"2023-03-23 21:38:40"
    }

[https_github.com_THUDM_ChatGLM-6B]: https://github.com/THUDM/ChatGLM-6B
[https_www.python.org_getit]: https://www.python.org/getit/
[76f01cd4e5a4416d81285b789ebab95f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/d6bdce50ac724fea907600f55016dbe0.png
[https_jmeubank.github.io_tdm-gcc]: https://jmeubank.github.io/tdm-gcc/
[2bcf7663be8741cb932f102434960118.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/cf9fe7f1501642a08d918f23e2c77bf3.png
[72af5d38700048168bd064821285c340.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/7592bdc2a3824631a133bfb4ab978201.png
[f1a3be13d4454bacbfb77a732eecf256.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/22716e37bac44e1ba91fcbd59479f5ab.png
[https_pytorch.org_get-started_previous-versions]: https://pytorch.org/get-started/previous-versions/
[2c30edf52bc74168970765d58b67bad2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/df3d8eff6cf14b3f89f9ae435d51bdb9.png
[0aba298837c64d47be609057a3133d62.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/b5831644a2ec495c906bf62c4285d424.png
[b7e72375663a482688a67a63117113c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/20/eb240f4158384d1cbc26b566edbb07f6.png