ChatGLM3本地部署运行（入门体验级）

谁借莪１个温暖的怀抱￠ 2024-02-18 10:04 22阅读 0赞

#### 文章目录 ####

*  前言
 *  零 硬件
 *  小白基知填坑
 *   *  eForce Game Ready驱动程序
     *  CUDA常用命令
 *  环境准备
 *   *  NVIDIA驱动更新
     *  CUDA安装
 *  部署
 *  补充内容
 *  体验

## 前言 ##

*  学习自B站up主技术爬爬虾，感谢up主提供的整合包！

## 零 硬件 ##

*  6GB以上显存的NVIDIA显卡（品质越高，效果越好）

## 小白基知填坑 ##

### eForce Game Ready驱动程序 ###

*  使用NVIDIA GeForce Game Ready驱动程序可以通过提供更好的图形处理能力和稳定性来增强AI任务的性能。
 *  GeForce Game Ready驱动程序的功能：

1.  性能优化：驱动程序通过针对不同的AI任务优化图形处理单元（GPU）的使用，提供更高效的计算能力，从而提高AI学习和大模型部署的性能。
2.  兼容性支持：驱动程序经过测试和优化，以确保其与最新的AI框架和库以及相关软件的兼容性。这有助于确保您可以顺利运行和部署AI模型。
3.  稳定性和可靠性：GeForce Game Ready驱动程序经过严格测试，以确保在AI任务中提供稳定的运行环境，减少崩溃或错误的可能性。
4.  额外的功能：驱动程序可能包含一些额外的功能或工具，例如GPU性能监控、优化设置和调试工具，可帮助您更好地管理和优化AI任务的执行。

### CUDA常用命令 ###

*  当使用CUDA进行并行计算时，可以使用一些基本的CUDA命令来管理和监控GPU设备。

1.  nvcc：用于编译CUDA源代码并生成可执行文件。
    
     *  它是CUDA的编译器驱动程序，可以接受CUDA源代码文件（.cu）作为输入，并生成可在GPU上执行的二进制文件。
2.  nvprof：用于性能分析和性能调优。
    
     *  它可以跟踪CUDA应用程序的运行时间和内存使用情况，并提供详细的性能指标和分析报告，帮助开发者找到性能瓶颈并优化CUDA代码。
3.  nvcc -arch：用于指定CUDA代码的目标架构。
    
     *  该命令选项后面可以跟随所需的GPU架构代号，例如sm\_30（Kepler架构）或sm\_61（Pascal架构），以确保CUDA代码能够在指定的GPU上正确编译和运行。
4.  nvidia-smi：用于监视和管理GPU设备。
    
     *  该命令提供了有关GPU的详细信息，如驱动程序版本、显卡型号、温度、功耗以及当前运行的进程列表等。此外，nvidia-smi还提供了一些选项，如设置GPU的功耗限制等。
5.  cuda-memcheck：用于内存错误检测。
    
     *  检测CUDA应用程序中的内存访问错误、泄漏以及其他内存相关问题。通过运行cuda-memcheck命令，可以检查CUDA应用程序的内存健康状况并提供详细的错误报告。
6.  cuda-gdb：用于CUDA应用程序的调试。
    
     *  cuda-gdb是一个支持CUDA的调试器，可以通过命令行界面来调试CUDA代码。它提供了一些常见的调试功能，如断点、变量查看、单步执行等。

## 环境准备 ##

### NVIDIA驱动更新 ###

*  打开GeForce Experience软件，选择更新NVIDIA GeForce Game Ready驱动程序

![在这里插入图片描述][16beee4a89d648c381c76ad5dd9d2431.png]

### CUDA安装 ###

*  [CUDA下载地址][CUDA]
 *  CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一种并行计算平台和编程模型。CUDA驱动程序是安装在计算机上的软件，用于支持和管理使用CUDA技术的NVIDIA GPU。
 *  CUDA驱动程序是一种支持和管理使用CUDA技术的NVIDIA GPU的软件。它提供了GPU管理、并行计算支持、性能优化和兼容性支持等功能，使开发者能够利用GPU的并行计算能力进行高性能的计算任务。

CUDA驱动程序的主要功能：

1.  GPU管理：CUDA驱动程序负责识别和管理计算机中的NVIDIA GPU。它与操作系统交互，为每个GPU分配计算资源，并确保GPU与其他系统组件正确通信。
2.  并行计算支持：CUDA驱动程序使开发者能够使用CUDA编程模型，通过并行计算在NVIDIA GPU上运行计算密集型任务。它提供了CUDA API和工具，使开发者能够编写并行代码，并在GPU上执行高性能计算。
3.  GPU性能优化：CUDA驱动程序提供了一些功能和工具，用于优化GPU的性能。例如，它可以进行GPU频率调整、内存访问优化和并行任务调度，以最大程度地发挥GPU的计算能力。
4.  兼容性支持：CUDA驱动程序与CUDA工具包共同工作，为开发者提供了对最新CUDA功能和库的支持。它确保CUDA驱动程序与使用CUDA编写的应用程序和库的兼容性，并提供与操作系统和其他驱动程序的适配。  
    ![在这里插入图片描述][c5d07a79e71843b8b474b39399be290e.png]

![在这里插入图片描述][093d658bc10c43ec8cebc5f4786333b8.png]

*  安装完CUDA后，电脑会自动重启，重启后验证CURD的安装

nvidia-smi

Mon Nov 13 19:56:29 2023
    +---------------------------------------------------------------------------------------+
    | NVIDIA-SMI 546.01                 Driver Version: 546.01       CUDA Version: 12.3     |
    |-----------------------------------------+----------------------+----------------------+
    | GPU  Name                     TCC/WDDM  | Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
    |                                         |                      |               MIG M. |
    |=========================================+======================+======================|
    |   0  NVIDIA GeForce RTX 3060      WDDM  | 00000000:03:00.0  On |                  N/A |
    |  0%   45C    P8              12W / 170W |    484MiB / 12288MiB |      4%      Default |
    |                                         |                      |                  N/A |
    +-----------------------------------------+----------------------+----------------------+
    
    +---------------------------------------------------------------------------------------+
    | Processes:                                                                            |
    |  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
    |        ID   ID                                                             Usage      |
    |=======================================================================================|
    |    0   N/A  N/A      7724    C+G   ...ience\NVIDIA GeForce Experience.exe    N/A      |
    |    0   N/A  N/A      8376    C+G   ....Search_cw5n1h2txyewy\SearchApp.exe    N/A      |
    |    0   N/A  N/A      8880    C+G   C:\Windows\explorer.exe                   N/A      |
    |    0   N/A  N/A      9360    C+G   ...GeForce Experience\NVIDIA Share.exe    N/A      |
    |    0   N/A  N/A     10120    C+G   ...2txyewy\StartMenuExperienceHost.exe    N/A      |
    |    0   N/A  N/A     11156    C+G   ...CBS_cw5n1h2txyewy\TextInputHost.exe    N/A      |
    |    0   N/A  N/A     14492    C+G   ...__8wekyb3d8bbwe\WindowsTerminal.exe    N/A      |
    +---------------------------------------------------------------------------------------+

*  结果分析：
    
    1.  驱动程序版本：当前使用的NVIDIA驱动程序版本为546.01。
    2.  CUDA版本：当前使用的CUDA版本为12.3。
    3.  GPU信息：
        
         *  NVIDIA GeForce RTX 3060显卡，该显卡处于工作状态（On），温度为45摄氏度，性能状态为P8（较低性能模式），功率使用率为12瓦，总体功率限制为170瓦。
         *  显存使用率为484MB/12288MB（4%），表示显存的使用情况较低。GPU利用率为0%，表示GPU当前未执行计算任务。
    4.  进程信息：列出了当前正在使用GPU的进程列表。
        
         *  当前有以下进程正在使用GPU：NVIDIA GeForce Experience、Windows搜索、Windows资源管理器、NVIDIA Share、开始菜单体验宿主、文本输入宿主。

## 部署 ##

*  [ChatGLM3 一键部署包][ChatGLM3]
 *  提取码：1234
 *  解压后文件内容如下：一个是model也就是模型文件，第二个ChatGLM3是模型的驱动程序  
    ![在这里插入图片描述][96d9c3a9af5245ef9d0218303fda08d7.png]

## 补充内容 ##

*  内存不够，可以设置虚拟内存  
    设置，系统，高级系统设置，性能设置，高级，更改虚拟内存，选中空间充足的固态硬盘设置为系统管理的大小，点设置，重启电脑  
    ![在这里插入图片描述][391f7f63b3e04a489611c29151d07998.png]
 *  公告，回车即可

>  *  如果您希望收到有用的入职邮件、新闻、优惠、促销信息以及偶尔的赠品，请在下方输入您的电子邮件地址。否则，请将此字段留空。  
>     ![在这里插入图片描述][9831b8dee172418c97d54b951e41734d.png]  
>     ![在这里插入图片描述][9e14c545fe9f4dc7a4107bb45e287bcd.png]  
>     ![在这里插入图片描述][790b4479a9e149caa584d1c2f0cc88fb.png]

## 体验 ##

*  整体运行占用显存8G左右，回答速度还可以（毕竟设备也就那样……还要求什么）  
    ![在这里插入图片描述][5036e276cc0141d4956236520cc60da4.png]
 *  正常速度  
    ![在这里插入图片描述][8abdfe9255c64ab89946853e4a0485a6.gif_pic_center]

[16beee4a89d648c381c76ad5dd9d2431.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b214b30a535d47fc92c59e9ca28a6ab2.png
[CUDA]: https://developer.nvidia.com/cuda-downloads
[c5d07a79e71843b8b474b39399be290e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/7153264f20ec43569a6f3154d4cbcdb3.png
[093d658bc10c43ec8cebc5f4786333b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/24f35fab39334988aa664dc4c0c2ff67.png
[ChatGLM3]: https://pan.baidu.com/s/1SAOUxt08zWK80Wnrrev87g
[96d9c3a9af5245ef9d0218303fda08d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/e2014bd1187e40c8be513fedb0183f43.png
[391f7f63b3e04a489611c29151d07998.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/5d3debe0a86b43a0b8c02276c9606b33.png
[9831b8dee172418c97d54b951e41734d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/328fbf996479473b87d60e538840bb97.png
[9e14c545fe9f4dc7a4107bb45e287bcd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/e2830d58363e47d0b4bdc37561143665.png
[790b4479a9e149caa584d1c2f0cc88fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/a1f77fe277a9456f8f40fe811cb69b28.png
[5036e276cc0141d4956236520cc60da4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/3719ac6a51e841ed859c21756e7f07e9.png
[8abdfe9255c64ab89946853e4a0485a6.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/37494459df9f414e923c7c222196748c.png