nginx负载均衡高可用

深碍√TFBOYSˉ_ 2022-06-17 10:52 220阅读 0赞

## 1.1什么是负载均衡高可用 ##

nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。
    为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

## 1.2keepalived+nginx实现主备 ##

**1.2.1什么是keepalived**  
keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。  
Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

**1.2.2keepalived工作原理**  
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。  
虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。  
keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。

详细参考：Keepalived权威指南中文.pdf

**1.2.3keepalived+nginx实现主备过程**

**1.2.3.1初始状态**

![这里写图片描述][SouthEast]

**1.2.3.2主机宕机**  
![这里写图片描述][SouthEast 1]

**1.2.3.3主机恢复**  
![这里写图片描述][SouthEast 2]

**1.2.4高可用环境**  
两台nginx，一主一备：192.168.101.3和192.168.101.4  
两台tomcat服务器：192.168.101.5、192.168.101.6

**1.2.5安装keepalived**

分别在主备nginx上安装keepalived，参考“安装手册”进行安装：

**下载地址：**  
[http://download.csdn.net/detail/qq1137623160/9823668][http_download.csdn.net_detail_qq1137623160_9823668]

**1.2.6配置keepalived**  
**1.2.6.1主nginx**  
修改主nginx下/etc/keepalived/keepalived.conf文件

! Configuration File for keepalived

\#全局配置  
global\_defs \{  
notification\_email \{ \#指定keepalived在发生切换时需要发送email到的对象，一行一个  
XXX@XXX.com  
\}  
notification\_email\_from XXX@XXX.com \#指定发件人  
\#smtp\_server XXX.smtp.com \#指定smtp服务器地址  
\#smtp\_connect\_timeout 30 \#指定smtp连接超时时间  
router\_id LVS\_DEVEL \#运行keepalived机器的一个标识  
\}

vrrp\_instance VI\_1 \{  
state MASTER \#标示状态为MASTER 备份机为BACKUP  
interface eth0 \#设置实例绑定的网卡  
virtual\_router\_id 51 \#同一实例下virtual\_router\_id必须相同  
priority 100 \#MASTER权重要高于BACKUP 比如BACKUP为99  
advert\_int 1 \#MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒  
authentication \{ \#设置认证  
auth\_type PASS \#主从服务器验证方式  
auth\_pass 8888  
\}  
virtual\_ipaddress \{ \#设置vip  
192.168.101.100 \#可以多个虚拟IP，换行即可  
\}  
\}

**1.2.6.2备nginx**  
修改备nginx下/etc/keepalived/keepalived.conf文件  
**配置备nginx时需要注意：需要修改state为BACKUP , priority比MASTER低，virtual\_router\_id和master的值一致**

! Configuration File for keepalived

vrrp\_instance VI\_1 \{  
state BACKUP \#标示状态为MASTER 备份机为BACKUP  
interface eth0 \#设置实例绑定的网卡  
virtual\_router\_id 51 \#同一实例下virtual\_router\_id必须相同  
priority 99 \#MASTER权重要高于BACKUP 比如BACKUP为99  
advert\_int 1 \#MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒  
authentication \{ \#设置认证  
auth\_type PASS \#主从服务器验证方式  
auth\_pass 8888  
\}  
virtual\_ipaddress \{ \#设置vip  
192.168.101.100 \#可以多个虚拟IP，换行即可  
\}  
\}

**1.2.7测试**  
主备nginx都启动keepalived及nginx。  
service keepalived start  
./nginx

**1.2.7.1初始状态**  
查看主nginx的eth0设置：  
vip绑定在主nginx的eth0上。  
![这里写图片描述][SouthEast 3]

查看备nginx的eth0设置：  
vip没有绑定在备nginx的eth0上。  
![这里写图片描述][SouthEast 4]

访问ccc.test.com，可以访问。

**1.2.7.2主机宕机**  
将主nginx的keepalived停止或将主nginx关机(相当于模拟宕机)，查看主nginx的eth0：  
eth0没有绑定vip  
![这里写图片描述][SouthEast 5]  
注意这里模拟的是停止 keepalived进程没有模拟宕机，所以还要将nginx进程也停止表示主nginx服务无法提供。

查看备nginx的eth0：  
vip已经漂移到备nginx。  
![这里写图片描述][SouthEast 6]

访问ccc.test.com，可以访问。

**1.2.7.3主机恢复**  
将主nginx的keepalived和nginx都启动。  
查看主nginx的eth0：

查看备nginx的eth0：  
vip漂移到主nginx。  
![这里写图片描述][SouthEast 7]

查看备nginx的eth0：  
eth0没有绑定vip  
![这里写图片描述][SouthEast 8]

访问：ccc.test.com，正常访问。  
**注意：主nginx恢复时一定要将nginx也启动（通常nginx启动要加在开机启动中），否则即使vip漂移到主nginx也无法访问。**

**1.2.8解决nginx进程和keepalived不同时存在问题**  
**1.2.8.1问题描述**  
keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉。

**1.2.8.2nginx进程检测脚本**  
在主nginx上需要编写nginx进程检测脚本（check\_nginx.sh），判断nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉，check\_nginx.sh内容如下：

\#!/bin/bash  
\#如果进程中没有nginx则将keepalived进程kill掉  
A=`ps -C nginx --no-header |wc -l` \#\# 查看是否有 nginx进程 把值赋给变量A  
if \[ $A -eq 0 \];then \#\# 如果没有进程值得为 零  
service keepalived stop \#\# 则结束 keepalived 进程  
fi

将check\_nginx.sh拷贝至/etc/keepalived下，  
脚本测试：  
将nginx停止，将keepalived启动，执行脚本：sh /etc/keepalived/check\_nginx.sh  
![这里写图片描述][SouthEast 9]

从执行可以看出自动将keepalived进程kill掉了。

**1.2.8.3修改keepalived.conf**  
修改主nginx的keepalived.conf，添加脚本定义检测：  
注意下边红色标识地方：

\#全局配置  
global\_defs \{  
notification\_email \{ \#指定keepalived在发生切换时需要发送email到的对象，一行一个  
XXX@XXX.com  
\}  
notification\_email\_from miaoruntu@itcast.cn \#指定发件人  
\#smtp\_server XXX.smtp.com \#指定smtp服务器地址  
\#smtp\_connect\_timeout 30 \#指定smtp连接超时时间  
router\_id LVS\_DEVEL \#运行keepalived机器的一个标识  
\}  
vrrp\_script check\_nginx \{  
script “/etc/keepalived/check\_nginx.sh” \#\#监控脚本  
interval 2 \#\#时间间隔，2秒  
weight 2 \#\#权重  
\}  
vrrp\_instance VI\_1 \{  
state MASTER \#标示状态为MASTER 备份机为BACKUP  
interface eth0 \#设置实例绑定的网卡  
virtual\_router\_id 51 \#同一实例下virtual\_router\_id必须相同  
priority 100 \#MASTER权重要高于BACKUP 比如BACKUP为99  
advert\_int 1 \#MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒  
authentication \{ \#设置认证  
auth\_type PASS \#主从服务器验证方式  
auth\_pass 8888  
\}  
track\_script \{  
check\_nginx \#监控脚本  
\}  
virtual\_ipaddress \{ \#设置vip  
192.168.101.100 \#可以多个虚拟IP，换行即可  
\}

修改后重启keepalived

**1.2.8.4测试**  
回到负载均衡高可用的初始状态，保证主、备上的keepalived、nginx全部启动。  
停止主nginx服务

观察keepalived日志：  
tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。  
查看eth0已经没有绑定vip。

[SouthEast]: /images/20220617/5c0c32f212834670a40bf0a70cee33b1.png
[SouthEast 1]: /images/20220617/f75030a664ef4f21bc084b7e877568f7.png
[SouthEast 2]: /images/20220617/89b84fc5396a4228811e7c275b9a0145.png
[http_download.csdn.net_detail_qq1137623160_9823668]: http://download.csdn.net/detail/qq1137623160/9823668
[SouthEast 3]: /images/20220617/a49bab34177d4c7faac90c0697c6a13d.png
[SouthEast 4]: /images/20220617/d6e16c80d65544b8bccb7fddca115aee.png
[SouthEast 5]: /images/20220617/ac9ef32eb8794ead8b50845e0ba3f5bf.png
[SouthEast 6]: /images/20220617/81affb2182f34c9a9fc35aafdfd17704.png
[SouthEast 7]: /images/20220617/b06a0ceb371144ca8e62b7c28fdbfb6b.png
[SouthEast 8]: /images/20220617/2c4030a290774f668d040df3d52eb967.png
[SouthEast 9]: /images/20220617/0183a2a602bd4eed8aed21a2b930e0e7.png