【ChatGLM2-6B】nginx转发配置

布满荆棘的人生 2024-03-27 19:25 69阅读 0赞

## 背景 ##

好不容易把`ChatGLM2-6B`大语言模型部署好了，使用`streamlit`方式启动起来了，终于可以愉快的玩耍了，然后想着申请一个域名，使用`HTTPS`协议访问，但实践过程中，发现这个大语言模型的`nginx`转发配置还是有点小小的与众不同，折腾了半天，终于研究出来了。如何在只有`CPU`的`Linux`服务器上部署`ChatGLM2-6B`，可以参考[这篇文章][Link 1]

## 先请教下ChatGLM2这个问题 ##

![在这里插入图片描述][13a9369fd9d04c6695b55c0ed47e6762.png]

不错，回答的很是专业，使用这个配置还是有点用，但并不能解决所有问题。可能会出现如下几个错误

### ERR\_INCOMPLETE\_CHUNKED\_ENCODING ###

在请求`/static/js/main.ccfdda4f.js`这个`js`文件的时候，可能会报`ERR_INCOMPLETE_CHUNKED_ENCODING`错误，这是因为`main.ccfdda4f.js`这个`js`文件有`1.1M`，`nginx`的缓冲区不够用，需要修改`nginx`缓冲区设置

location / {
        proxy_pass http://LLM;
    
        # main.ccfdda4f.js文件有1.1M，需要修改缓冲区大小
        proxy_buffer_size 1024k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
        proxy_buffers 16 1024k; #proxy_buffers缓冲区，网页平均在32k以下的设置
        proxy_busy_buffers_size 2048k; #高负荷下缓冲大小（proxy_buffers*2）
        proxy_temp_file_write_size 2048k; #设定缓存文件夹大小，大于这个值，将从upstream服务器传
    }

### websocket报403错误 ###

查看`/_stcore/stream`请求，是与大模型建立`websocket`连接，错误信息大致如下  
`failed: Error during WebSocket handshake: Unexpected response code: 403`，但如果使用`80`或`443`端口，则不会报这个错，只要是非`80`和`443`就会报这个错，根本原因是`nginx`转发的时候必须设置`Host`和`Origin`请求头，并且值还要一样

location /_stcore/stream {
            proxy_pass http://LLM;
    
            # websocket配置
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_cache_bypass $http_upgrade;
            # Host与Origin必须设置，并且Host的值与Origin的值//后面的部分必须一致
            proxy_set_header Host "$http_host";
            proxy_set_header Origin "$scheme://$http_host";
        }

>  *  这里使用 h t t p h o s t 比 http\_host比 httphost比host更准确
>  *  经过实测，只要`Host`和`Origin`请求头$http\_host部分的值相同就可以成功转发，即使随便写一个值，只要相同也可以成功转发

### 关于nginx中`$host`、`$http_host`、`$proxy_host`的区别 ###

<table> 
 <thead> 
  <tr> 
   <th align="center">变量</th> 
   <th align="center">是否显示端口</th> 
   <th align="center">值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">$host</td> 
   <td align="center">不显示端口</td> 
   <td align="center">浏览器请求的ip，不显示端口</td> 
  </tr> 
  <tr> 
   <td align="center">$http_host</td> 
   <td align="center">端口存在则显示</td> 
   <td align="center">浏览器请求的ip和端口号</td> 
  </tr> 
  <tr> 
   <td align="center">$proxy_host</td> 
   <td align="center">默认80端口不显示，其它显示</td> 
   <td align="center">被代理服务的ip和端口号</td> 
  </tr> 
 </tbody> 
</table>

## 完整的nginx配置如下 ##

upstream LLM {
        server 127.0.0.1:8501;
    }
    
    server {
        listen       30443 ssl;
        listen       443 ssl;
        listen       80;
        server_name  chatglm.xxx.cn;
    
        ssl_certificate /etc/nginx/ssl/chatglm.xxx.cn.pem;
        ssl_certificate_key /etc/nginx/ssl/chatglm.xxx.cn.key;
    
        location / {
            proxy_pass http://LLM;
    
            # main.ccfdda4f.js文件有1.1M，需要修改缓冲区大小
            proxy_buffer_size 1024k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
            proxy_buffers 16 1024k; #proxy_buffers缓冲区，网页平均在32k以下的设置
            proxy_busy_buffers_size 2048k; #高负荷下缓冲大小（proxy_buffers*2）
            proxy_temp_file_write_size 2048k; #设定缓存文件夹大小，大于这个值，将从upstream服务器传
        }
    
        location /_stcore/stream {
            proxy_pass http://LLM;
    
            # websocket配置
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_cache_bypass $http_upgrade;
            # Host与Origin必须设置，并且Host的值与Origin的值//后面的部分必须一致
            proxy_set_header Host "$http_host";
            proxy_set_header Origin "$scheme://$http_host";
        }
    }

## 总结 ##

*  以上是一步一步摸索出来的，研究成果来之不易
 *  任何看似简单的东西，动手实践后，才能理解的更加深刻
 *  终于对`ChatGLM2-6B`有了一定的了解，还会继续对大语言模型进行训练和微调，与君共勉

[Link 1]: https://blog.csdn.net/friendlytkyj/article/details/133905518
[13a9369fd9d04c6695b55c0ed47e6762.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/3dbd7ff1e63e412a91d0e3bf68339bff.png