Nginx + Consul + Upsync实现动态负载均衡

川长思鸟来 2022-05-11 13:48 183阅读 0赞

各组件作用：

ConsulWeb：Consul的客户端可视化界面，管理负载均衡配置的信息

ConsulServer：Consul服务端，用于存放负载均衡配置

Nginx：以间隔时间动态读取ConsulServer配置

Upsync：新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB，利用Consul的KV服务，每个Nginx Work进程独立的去拉取各个upstream的配置，并更新各自的路由。

![70][]

1.搭建ConsulServer存放负载均衡注册配置信息

2.nginx间隔时间动态取最新的ConsulServer配置信息

**1.下载文件**

**1.1Nginx**

> wget [http://nginx.org/download/nginx-1.9.10.tar.gz][http_nginx.org_download_nginx-1.9.10.tar.gz]
> 
> 作用:实现反向代理、负载负载库

**1.2consul**

> wget [https://releases.hashicorp.com/consul/0.7.1/consul\_0.7.1\_linux\_amd64.zip][https_releases.hashicorp.com_consul_0.7.1_consul_0.7.1_linux_amd64.zip]
> 
> 作用:对动态负载均衡均配置实现注册

**1.3nginx-upsync-module**

> wget [https://github.com/weibocom/nginx-upsync-module/archive/master.zip][https_github.com_weibocom_nginx-upsync-module_archive_master.zip]
> 
> 作用:nginx动态获取最新upstream信息

**2.解压安装**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;"><strong>unzip master.zip</strong></p> <p style="margin-left:0cm;"><strong>unzip consul_0.7.1_linux_amd64.zip</strong></p> </td> 
  </tr> 
 </tbody> 
</table>

如果解压出现该错误

\-bash: unzip: 未找到命令

解决办法

**yum -y install unzip**

安装Nginx

解压Nginx

<table style="margin-left:5.4pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:420.7pt;"> <p style="margin-left:0cm;">tar -zxvf nginx-1.9.10.tar.gz</p> </td> 
  </tr> 
 </tbody> 
</table>

**配置Nginx**

<table style="margin-left:5.4pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:420.7pt;"> <p style="margin-left:0cm;">groupadd nginx</p> <p style="margin-left:0cm;">useradd -g nginx -s /sbin/nologin nginx</p> <p style="margin-left:0cm;">mkdir -p /var/tmp/nginx/client/</p> <p style="margin-left:0cm;">mkdir -p /usr/local/nginx</p> </td> 
  </tr> 
 </tbody> 
</table>

**编译Nginx**

<table style="margin-left:5.4pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:420.7pt;"> <p style="margin-left:0cm;">cd nginx-1.9.10</p> <p style="margin-left:0cm;">&nbsp;</p> <p style="margin-left:0cm;">./configure&nbsp;&nbsp; --prefix=/usr/local/nginx&nbsp;&nbsp; --user=nginx&nbsp;&nbsp; --group=nginx&nbsp;&nbsp; --with-http_ssl_module&nbsp;&nbsp; --with-http_flv_module&nbsp;&nbsp; --with-http_stub_status_module&nbsp;&nbsp; --with-http_gzip_static_module&nbsp;&nbsp; --with-http_realip_module&nbsp;&nbsp; --http-client-body-temp-path=/var/tmp/nginx/client/&nbsp;&nbsp; --http-proxy-temp-path=/var/tmp/nginx/proxy/&nbsp;&nbsp; --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/&nbsp;&nbsp; --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi&nbsp;&nbsp; --http-scgi-temp-path=/var/tmp/nginx/scgi&nbsp;&nbsp; --with-pcre --add-module=../nginx-upsync-module-master</p> <p style="margin-left:0cm;"><em><span style="color:#ff0000;">编译的是报错</span></em></p> <p style="margin-left:0cm;"><em><span style="color:#ff0000;">./configure: error: SSL modules require the OpenSSL library.</span></em></p> <p style="margin-left:0cm;"><em><span style="color:#ff0000;">解决办法</span></em></p> <p style="margin-left:0cm;"><em><span style="color:#ff0000;">yum -y install openssl openssl-devel</span></em></p> <p>&nbsp;</p> <p><img alt="" height="436" src="https://img-blog.csdn.net/20181021140612242?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjcwMTA2/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70" width="632"></p> <p style="margin-left:0cm;">&nbsp;</p> <p style="margin-left:0cm;">make &amp;&amp; make install</p> </td> 
  </tr> 
 </tbody> 
</table>

**Upstream 动态配置**

>  \#\#动态去consul 获取注册的真实反向代理地址  
>    upstream itmayiedu\{  
>         server 127.0.0.1:11111;  
>         \#\#\# 连接consul server，获取动态upstreams，配置负载均衡信息，间隔0.5s获取配置信息  
>         upsync 192.168.128.149:8500/v1/kv/upstreams/itmayiedu upsync\_timeout=6m upsync\_interval=500ms upsync\_type=consul strong\_dependency=off;  
>         \#\#\# 动态获取consul server相关负载均衡配置信息持久化在硬盘  
>         upsync\_dump\_path /usr/local/nginx/conf/servers/servers\_test.conf;  
>     \}
> 
>     server \{  
>         listen       80;  
>         server\_name  localhost;
> 
>         location / \{  
>             \#\#\# 配置反向代理  
>             proxy\_pass http://itmayiedu;  
>             index  index.html index.htm;  
>         \}  
>     \}

upsync指令指定从consul哪个路径拉取上游服务器配置；upsync\_timeout配置从consul拉取上游服务器配置的超时时间；upsync\_interval配置从consul拉取上游服务器配置的间隔时间；upsync\_type指定使用consul配置服务器；strong\_dependency配置nginx在启动时是否强制依赖配置服务器，如果配置为on，则拉取配置失败时nginx启动同样失败。upsync\_dump\_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

**注意:替换 consul 注册中心地址**

**创建upsync\_dump\_path**

> mkdir /usr/local/nginx/conf/servers/

upsync\_dump\_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

**启动consul**

临时关闭防火墙：systemctl stop firewalld

我的linux Ip地址192.168.128.149

> ./consul agent -dev -ui -node=consul-dev -client=192.168.128.149

**添加nginx  Upstream服务**

1.使用linux命令方式发送put请求

> curl -X PUT http://192.168.128.149:8500/v1/kv/upstreams/itmayiedu/192.168.1.100:8080
> 
> curl -X PUT http://192.168.128.149:8500/v1/kv/upstreams/itmayiedu/192.168.1.100:8081

或者使用postmen 发送put请求

> http://192.168.128.149:8500/v1/kv/upstreams/itmayiedu/192.168.1.100:8080
> 
> http://192.168.128.149:8500/v1/kv/upstreams/itmayiedu/192.168.1.100:8081

**启动Nginx**

> /usr/local/nginx/sbin/nginx

**访问[http://192.168.128.149/][http_192.168.128.149]，就有负载均衡了（本地需要启动8080和8081两个项目）**

![70 1][]

本地在启动一个8084项目：

使用postmen 发送put请求

> http://192.168.128.149:8500/v1/kv/upstreams/itmayiedu/192.168.1.100:8084

此时会自动读取新增的配置信息

![70 2][]

给8080权重为3的配置：

负载均衡信息参数

> \{"weight":1, "max\_fails":2, "fail\_timeout":10, "down":0\}

![70 3][]

查看服务列表：

![70 4][]

[70]: /images/20220505/0330fc1ee9d34499b81e6bc53984ee92.png
[http_nginx.org_download_nginx-1.9.10.tar.gz]: http://nginx.org/download/nginx-1.9.10.tar.gz
[https_releases.hashicorp.com_consul_0.7.1_consul_0.7.1_linux_amd64.zip]: https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip
[https_github.com_weibocom_nginx-upsync-module_archive_master.zip]: https://github.com/weibocom/nginx-upsync-module/archive/master.zip
[http_192.168.128.149]: http://192.168.128.149/
[70 1]: /images/20220505/d5fa833785bd4a2d80f27a0052ba48bf.png
[70 2]: /images/20220505/a2d1b24f33b94ddc8a8101a0622455e4.png
[70 3]: /images/20220505/70a8f479721e4c0ab7f8f56e59037168.png
[70 4]: /images/20220505/4a5c609da3ab426883132136147f4606.png