nginx+upsync+consul 构建动态nginx配置系统

今天药忘吃喽~ 2022-03-29 12:12 159阅读 0赞

参考：

http://www.php230.com/weixin1456193048.html 【upsync模块说明、性能评测】

https://www.jianshu.com/p/76352efc5657

https://www.jianshu.com/p/c3fe55e6a5f2

说明：

动态nginx负载均衡的配置，可以通过Consul+Consul-template方式，但是这种方案有个缺点：每次发现配置变更都需要reload nginx，而reload是有一定损耗的。而且，如果你需要长连接支持的话，那么当reloadnginx时长连接所在worker进程会进行优雅退出，并当该worker进程上的所有连接都释放时，进程才真正退出（表现为worker进程处于worker process is shutting down）。因此，如果能做到不reload就能动态更改upstream，那么就完美了。

目前的开源解决方法有3种：

1、Tengine的Dyups模块

2、微博的Upsync模块+Consul

3、使用OpenResty的balancer\_by\_lua，而又拍云使用其开源的slardar（Consul + balancer\_by\_lua）实现动态负载均衡。

这里我们使用的是upsync模块+consul 来实现动态负载均衡。操作笔记如下：

consul的命令很简单，官方文档有详细的样例供参考，这里略过。

**实验环境：**

3台centos7.3机器

cat /etc/hosts 如下：

192.168.5.71 node71

192.168.5.72 node72

192.168.5.73 node73

consul 我们使用3节点都是server角色。如果集群内某个节点宕机的话，集群会自动重新选主的。

nginx-Upsync模块：新浪微博开源的，，它的功能是拉取 consul 的后端 server 的列表，并更新 Nginx 的路由信息。且reload对nginx性能影响很少。

## 1、安装nginx+ nginx-upsync-module（3台机器上都执行安装） ##

nginx-upsync-module模块： https://github.com/weibocom/nginx-upsync-module

nginx版本：1.13.8

yum install gcc gcc-c++ make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel -y

cd /root/

git clone https://github.com/weibocom/nginx-upsync-module.git

\# 建议使用git clone代码编译，刚开始我使用release的tar.gz 编译nginx失败了

groupadd nginx

useradd -g nginx -s /sbin/nologin nginx

mkdir -p /var/tmp/nginx/client/

mkdir -p /usr/local/nginx

tar xf nginx-1.13.8.tar.gz

cd /root/nginx-1.13.8

./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http\_ssl\_module --with-http\_flv\_module --with-http\_stub\_status\_module --with-http\_gzip\_static\_module --with-http\_realip\_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=/root/nginx-upsync-module

make && make install

echo 'export PATH=/usr/local/nginx/sbin:$PATH' >> /etc/profile

source /etc/profile

## 2、配置nginx虚拟主机 ##

**在node1****上配置虚拟主机：**

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user nginx;

worker\_processes 4;

events \{

worker\_connections 1024;

http \{

include mime.types;

default\_type application/octet-stream;

sendfile on;

tcp\_nopush on;

keepalive\_timeout 65;

gzip on;

server \{

listen 80;

server\_name 192.168.5.71;

location / \{

root /usr/share/nginx/html;

index index.html index.htm;

创建网页文件：

echo 'node71' > /usr/share/nginx/html/index.html

**在node3****上启动虚拟主机：**

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user nginx;

worker\_processes 4;

events \{

worker\_connections 1024;

http \{

include mime.types;

default\_type application/octet-stream;

sendfile on;

tcp\_nopush on;

keepalive\_timeout 65;

gzip on;

server \{

listen 80;

server\_name 192.168.5.73;

location / \{

root /usr/share/nginx/html;

index index.html index.htm;

创建网页文件：

echo 'node73' > /usr/share/nginx/html/index.html

**在node2****上配置虚拟主机：**

**此处的node2****作为LB****负载均衡+****代理服务器使用**

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user nginx;

worker\_processes 1;

error\_log logs/error.log notice;

pid logs/nginx.pid;

events \{

worker\_connections 1024;

http \{

include mime.types;

default\_type application/octet-stream;

log\_format main '$remote\_addr - $remote\_user \[$time\_local\] "$request" '

'$status $body\_bytes\_sent "$http\_referer" '

'"$http\_user\_agent" "$http\_x\_forwarded\_for"'

'$upstream\_addr $upstream\_status $upstream\_response\_time $request\_time';

access\_log logs/access.log main;

sendfile on;

tcp\_nopush on;

keepalive\_timeout 65;

gzip on;

upstream pic\_backend \{

\# 兜底假数据

\# server 192.168.5.72:82;

\# upsync模块会去consul拉取最新的upstream信息并存到本地的文件中

upsync 192.168.5.72:8500/v1/kv/upstreams/pic\_backend upsync\_timeout=6m upsync\_interval=500ms upsync\_type=consul strong\_dependency=off;

upsync\_dump\_path /usr/local/nginx/conf/servers/servers\_pic\_backend.conf;

\# LB对外信息

server \{

listen 80;

server\_name 192.168.5.72;

location = / \{

proxy\_pass http://pic\_backend;

proxy\_set\_header Host $host;

proxy\_set\_header X-Real-IP $remote\_addr;

proxy\_set\_header X-Forwarded-For $proxy\_add\_x\_forwarded\_for;

add\_header real $upstream\_addr;

location = /upstream\_show \{

upstream\_show;

location = /upstream\_status \{

stub\_status on;

access\_log off;

\# 兜底的后端服务器

server \{

listen 82;

server\_name 192.168.5.72;

location / \{

root /usr/share/nginx/html82/;

index index.html index.htm;

创建网页文件：

mkdir /usr/share/nginx/html82 -p

echo 'fake data in SLB\_72' > /usr/share/nginx/html82/index.html

创建upsync\_dump\_path(consul、upsync存放upstream主机信息使用到这个目录）

mkdir /usr/local/nginx/conf/servers/

## 3、安装consul（3台机器上都执行安装） ##

cd /root/

mkdir /usr/local/consul/

unzip consul\_1.0.0\_linux\_amd64.zip

mv consul /usr/local/consul/

mkdir /etc/consul.d

cd /usr/local/consul/

echo 'export PATH=/usr/local/consul/:$PATH' >> /etc/profile

source /etc/profile

**node71****上：**

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node71 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.71 -client 0.0.0.0

**node72****上：**

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node72 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.72 -client 0.0.0.0 -join 192.168.5.71

意思是把本节点加入到192.168.5.71这个ip的节点中

**node73****上：**

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node73 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.73 -client 0.0.0.0 -join 192.168.5.71

意思是把本节点加入到192.168.5.71这个ip的节点中

这样的话，就在3台主机前台启动了consul程序。

可以在任一台主机上执行：

**consul members** **列出当前集群的节点状态**

![image.png][]

**consul info** **列出当前集群的节点详细信息 （输出信息太多，自己运行时候看去吧）**

访问consul自带的web界面

http://192.168.5.71/upstream\_show （3个节点都开了webui，因此我们访问任意节点都行）

![image.png][image.png 1]

**在任一节点上执行如下命令，即可添加2****个key-value****信息：**

curl -X PUT -d '\{"weight":10, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.71:80

curl -X PUT -d '\{"weight":10, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.73:80

在web界面，就可看到如下所示：

![image.png][image.png 2]

**删除的命令是：**

curl -X DELETE http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.71:80

curl -X DELETE http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.73:80

**调整后端服务的参数：**

curl -X PUT -d '\{"weight":10, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.71:80

## 4、测试consul+nginx调度 ##

在node1、node2、node3上都执行 /usr/local/nginx/sbin/nginx 启动nginx服务

访问http://192.168.5.72/upstream\_show

![image.png][image.png 3]

访问http://192.168.5.72/upstream\_status

![image.png][image.png 4]

刚才我们在第三步的时候，执行了如下2条命令，自动在consul里面加了2行内容。

curl -X PUT -d '\{"weight":10, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.71:80

curl -X PUT -d '\{"weight":10, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/pic\_backend/192.168.5.73:80

我们node2的nginx在启动的时候，会去nginx.conf里面配置的consul地址去寻找对应的upstream信息。同时会dump一份upstream的配置到/usr/local/nginx/conf/servers目录下。

\[root@node72 /usr/local/nginx/conf/servers \]\# cat servers\_pic\_backend.conf

server 192.168.5.73:80 weight=10 max\_fails=2 fail\_timeout=10s;

server 192.168.5.71:80 weight=10 max\_fails=2 fail\_timeout=10s;

我们可以写个curl脚本测试下，如下

for i in \{1..100\} ;do curl http://192.168.5.72/; done > /root/log

grep -c node71 /root/log ;grep -c node73 /root/log

可以看到curl是轮询请求到后端的node1和node3上去的。

![image.png][image.png 5]

或者使用for i in \{1..100\} ;do curl -s -I http://192.168.5.72/|tail -2 |head -1; done

**如果要下线后端主机进行发布的话，只要把down****参数置为1****即可，类似如下：**

curl -X PUT -d '\{"weight":2, "max\_fails":2, "fail\_timeout":10, "down":1\}' http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

**如果发布完成并验证后，需要上线，可以再次把down****参数置为0****：**

curl -X PUT -d '\{"weight":2, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

**如果调整在线调整后端服务的upstream****参数：**

curl -X PUT -d '\{"weight":2, "max\_fails":2, "fail\_timeout":10, "down":0\}' http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

**说明：**

**1、每次去拉取 consul** **都会设置连接超时，由于 consul** **在无更新的情况下默认会 hang** **五分钟，所以响应超时配置时间应大于五分钟。大于五分钟之后，consul** **依旧没有返回，便直接做超时处理。**

**2、由于upsync模块会在pull新数据时候，自动在本地存一份upstream配置的副本。因此即便我们上面的3个consul进程全部宕掉了，nginx服务短时间内也不会受到影响。只要我们的监控完善及时将consul进程启动即可。**

**此外，还可使用****nginx +consulconsul-template****这种架构来控制****nginx****的配置**

具体可以参考：

https://www.jianshu.com/p/9976e874c099

https://www.jianshu.com/p/a4c04a3eeb57?utm\_campaign=maleskine&utm\_content=note&utm\_medium=seo\_notes&utm\_source=recommendation

https://www.cnblogs.com/MrCandy/p/7152312.html

https://github.com/hashicorp/consul-template

官方提供的nginx参考模板：https://github.com/hashicorp/consul-template/blob/master/examples/nginx.md

[image.png]: /images/20220329/2a22121f8f40464d809bbab7c5759003.png
[image.png 1]: /images/20220329/731fba60eeaa4c47a65ea662de636ec9.png
[image.png 2]: /images/20220329/fd4acb084ce94b22a8022f4bfb3ffc61.png
[image.png 3]: /images/20220329/7b3e38626f1d49bfb5b8501ca6087d7d.png
[image.png 4]: /images/20220329/4cda556b633946ef8b8261f73783dfe8.png
[image.png 5]: /images/20220329/3267f2c4af4a427b988d98bdc6b8c16a.png