【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题

梦里梦外; 2023-10-12 12:49 20阅读 0赞

#### 文章目录 ####

*  部署环境
 *  文件下载
 *   *  项目文件
     *  模型配置文件
     *  模型文件
 *  运行demo
 *  遇到的问题

## 部署环境 ##

系统版本：Windows 10 企业版  
版本号：20H2  
系统类型：64 位操作系统, 基于 x64 的处理器  
处理器：Intel® Core™ i7-8700 CPU @ 3.20GHz 3.19 GHz  
机带 RAM：16.0 GB  
显卡：NVIDIA RTX 2070（8G）  
Python版本：3.10.11

## 文件下载 ##

文件分为两个部分：

*  github上开源的训练、推理、以及运行demo、api的一些代码文件
 *  huggingface上的语言模型相关文件，主要包含官方训练好的大语言模型文件，以及模型文件对应的一些配置文件，其中模型文件会很大，可以使用GIT LFS下载，或者直接上清华的网盘上下载，本文使用的是从网盘下载，配置文件直接clone即可，clone前设置GIT\_LFS\_SKIP\_SMUDGE=1，可跳过大文件的下载，只下载模型文件之外的配置文件。

### 项目文件 ###

git clone https://github.com/THUDM/ChatGLM-6B.git

安装依赖：

cd ChatGLM-6B
    
    pip install -r requirements.txt

### 模型配置文件 ###

GIT\_LFS\_SKIP\_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

### 模型文件 ###

chatglm-6b：（只有chatglm-6b)

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

其他：（包含chatglm-6b-int4、chatglm-6b-int8…）

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

按需下载，下载后替换至上一步中下载的chatglm-6b目录下。

注：下载之后，需要对比每个文件大小，如果有文件不完整，将运行失败

**模型文件必须要和配置文件配套下载，否则运行不成功**

文件保存位置：

D:\\ChatGLM-6B\\ChatGLM-6B\\THUDM\\chatglm-6b

![a88da09a2b9f4fad4ce6d87c073c5711.png][]

下载完成之后，修改第5、6行：将参数文件路径换为本地的

![349e6c6cb2c51649b9f5efdb3a0ae256.png][]

## 运行demo ##

![5a7af1e2ce4c9ad885ed97f1fee41706.png][]

python web_demo.py

![d286b10ae55b385dd081c834016ad4e0.png][]

## 遇到的问题 ##

1.  RuntimeError: Internal: D:\\a\\sentencepiece\\sentencepiece\\src\\sentencepiece\_processor.cc(1102) \[model\_proto->ParseFromArray(serialized.data(), serialized.size())\]

Traceback (most recent call last):
    
      File "D:\ChatGLM-6B\ChatGLM-6B\web_demo.py", line 5, in <module>
    
        tokenizer = AutoTokenizer.from_pretrained("D:\\ChatGLM-6B\\ChatGLM-6B\\THUDM\\chatglm-6b", trust_remote_code=True, revision="")
    
      File "D:\python3.10\lib\site-packages\transformers\models\auto\tokenization_auto.py", line 679, in from_pretrained
    
        return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs)
    
      File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1804, in from_pretrained
    
        return cls._from_pretrained(
    
      File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1958, in _from_pretrained
    
        tokenizer = cls(*init_inputs, **init_kwargs)
    
      File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 221, in __init__
    
        self.sp_tokenizer = SPTokenizer(vocab_file, num_image_tokens=num_image_tokens)
    
      File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 64, in __init__
    
        self.text_tokenizer = TextTokenizer(vocab_file)
    
      File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 22, in __init__
    
        self.sp.Load(model_path)
    
      File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 905, in Load
    
        return self.LoadFromFile(model_file)
    
      File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 310, in LoadFromFile
    
        return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)
    
    RuntimeError: Internal: D:\a\sentencepiece\sentencepiece\src\sentencepiece_processor.cc(1102) [model_proto->ParseFromArray(serialized.data(), serialized.size())]

解决：对比下载的所有配置文件，是否有不完整的文件，执行命令：GIT\_LFS\_SKIP\_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b 时，有个2mb左右的文件，没有成功下载：ice\_text.model

1.  AssertionError: Torch not compiled with CUDA enabled
    
    原因是你试图用GPU跑，但是你安装的 Torch 不支持CUDA，是仅支持CPU的版本，执行命令：
    
        python -c "import torch; print(torch.cuda.is_available())"
    
    如果返回False，说明安装的PyTorch不支持CUDA。
    
    1.  更新显卡驱动为最新的（[官方驱动 | NVIDIA][_ NVIDIA]）
    2.  下载安装cuda\_toolkit（https://developer.nvidia.com/cuda-toolkit）<这一步尚未验证是否必须>
    3.  重启电脑
    4.  执行命令安装torch：
        
            pip install torch==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html
    
    （第一次没有操作2、3步，没有成功，第二次安装了toolkit后重启好了，但不能确定这两步是否有效，可以先忽略这两步，不行再尝试）
    
    ![j0zoq9.png][]

需要下载一个2.6G的文件，安装完成后，print(torch.cuda.is\_available())为True，大功告成。

可以在[Previous PyTorch Versions | PyTorch][Previous PyTorch Versions _ PyTorch] 查看自己的显卡CUDA版本对应的torch版本，如果没找到，可以尝试一个最接近的比实际小的版本。

查看CUDA版本：

![6f5f11b88c471d5daa70cfae7b495a14.png][]

或者直接执行命令：nvidia-smi 查看

![3e11d6584aa97430360830b24341ea8f.png][]

1.  这个配置运行非量化的chatglm-6b，响应很慢很慢，重新下载chatglm-6b-Int4的模型文件和配置文件部署后，速度正常了。

[a88da09a2b9f4fad4ce6d87c073c5711.png]: https://img-blog.csdnimg.cn/img_convert/a88da09a2b9f4fad4ce6d87c073c5711.png
[349e6c6cb2c51649b9f5efdb3a0ae256.png]: https://img-blog.csdnimg.cn/img_convert/349e6c6cb2c51649b9f5efdb3a0ae256.png
[5a7af1e2ce4c9ad885ed97f1fee41706.png]: https://img-blog.csdnimg.cn/img_convert/5a7af1e2ce4c9ad885ed97f1fee41706.png
[d286b10ae55b385dd081c834016ad4e0.png]: https://img-blog.csdnimg.cn/img_convert/d286b10ae55b385dd081c834016ad4e0.png
[_ NVIDIA]: https://www.nvidia.cn/Download/index.aspx?lang=cn
[j0zoq9.png]: https://p.ipic.vip/j0zoq9.png
[Previous PyTorch Versions _ PyTorch]: https://pytorch.org/get-started/previous-versions/
[6f5f11b88c471d5daa70cfae7b495a14.png]: https://img-blog.csdnimg.cn/img_convert/6f5f11b88c471d5daa70cfae7b495a14.png
[3e11d6584aa97430360830b24341ea8f.png]: https://img-blog.csdnimg.cn/img_convert/3e11d6584aa97430360830b24341ea8f.png