Nginx+keepalived实现nginx高可用

清疚 2023-10-09 22:42 19阅读 0赞

提前备好两台服务器（主：192.168.2.34，备：192.168.2.24），并安装好nginx，nginx安装此文不做赘述

1、下载keepAlived至/usr/local并解压

wget --no-check-certificate https://www.keepalived.org/software/keepalived-2.2.7.tar.gz
    tar -zxvf keepalived-2.2.7.tar.gz

2、安装

#创建安装目录
    mkdir /usr/local/keepalived
    #安装
    cd keepalived-2.2.7/
    ./configure --prefix=/usr/local/keepalived  --sysconf=/etc  ##此处指定安装目录以及配置文件路径
    make && make install

3、此时/usr/local 目录下会有三个文件，除了安装目录（keepalived）其余两个都可以删除

![3b210e43bdd40c27dbf262ecbdcb42f2.png][]

4、新增配置文件。

#我们安装时就指定了配置文件所在目录/etc/keepalived下
    cd /etc/keepalived
    #拷贝一个新的配置文件
    cp keepalived.conf.sample keepalived.conf

5、修改配置文件

1)主服务上修改配置

! Configuration File for keepalived
    
    global_defs {
       router_id just01 
    }
    
    vrrp_script chk_nginx {
        script "/usr/local/src/nginx_check.sh"  #脚本文件路径
        interval 3  # 检测脚本执行的间隔：3s
        weight 2  #权重，如果这个脚本检测为真，服务器权重+2
    }
    
    vrrp_instance VI_1 {
        state MASTER   # 指定keepalived的角色，MASTER为主，BACKUP为备。备份服务器上需将MASTER 改为BACKUP
        interface ens192  # 通信端口 通过ip addr可以看到，根据自己的机器配置
        virtual_router_id 51  # vrrp实例id  keepalived集群的实例id必须一致，即主、备机的virtual_router_id必须相同
        priority 100  #优先级，数值越大，获取处理请求的优先级越高。主、备机取不同的优先级，主机值较大，备份机值较小
        advert_int 1  #心跳间隔，默认为1s。keepalived多机器集群 通过心跳检测当前服务器是否还正常工作，如果发送心跳没反应，备份服务器就会立刻接管；
        authentication {
            auth_type PASS  #设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信
            auth_pass justech  #密码，主备服务器的要设成一样
        }
        virtual_ipaddress {
            10.66.53.200 # 定义虚拟ip(VIP)，可多设，每行一个，需要是公司中未使用的ip，最好跟服务器真实ip的网段一样，比如测试环境10.66.53 正式环境10.66.52
        }
    	 track_script {
    		   chk_nginx  #定义脚本名称，与上面的 vrrp_script 的值一致
    	 }
    }

2)从服务上修改配置

! Configuration File for keepalived
    
    global_defs {
       router_id just02
    }
    
    vrrp_script chk_nginx {
        script "/usr/local/src/nginx_check.sh"  #脚本文件路径
        interval 3  # 检测脚本执行的间隔：3s
        weight 2  #权重，如果这个脚本检测为真，服务器权重+2
    }
    
    vrrp_instance VI_1 {
        state BACKUP  # 指定keepalived的角色，MASTER为主，BACKUP为备。
        interface ens192   # 通信端口 通过ip addr可以看到，根据自己的机器配置
        virtual_router_id 51 # vrrp实例id  keepalived集群的实例id必须一致，即主、备机的virtual_router_id必须相同
        priority 80  #优先级，数值越大，获取处理请求的优先级越高。主、备机取不同的优先级，主机值较大，备份机值较小
        advert_int 1  #心跳间隔，默认为1s。keepalived多机器集群 通过心跳检测当前服务器是否还正常工作，如果发送心跳没反应，备份服务器就会立刻接管；
        authentication {
            auth_type PASS  #设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信
            auth_pass justech  #密码，主备服务器的要设成一样
        }
        virtual_ipaddress {
            10.66.53.200  # 定义虚拟ip(VIP)，可多设，每行一个，需要是公司中未使用的ip，最好跟服务器真实ip的网段一样，比如测试环境10.66.53 正式环境10.66.52
        }
    	track_script {
    		chk_nginx #定义脚本名称，与上面的 vrrp_script 的值一致
    	}
    }

6、将keepalived加入系统服务

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
    cp /usr/local/keepalived/sbin/keepalived /etc/init.d/
    ##刷新系统进程
    systemctl daemon-reload
    ##启动、终止、查看状态、重启
    systemctl start keepalived.service
    systemctl stop keepalived.service
    systemctl status keepalived.service
    systemctl restart keepalived.service

7、启动keepalived服务（主备都启）

![3f81357afc9cbd0e2e60d1ce6d16e752.png][]

8、查看网卡ip

[root@data-anal keepalived]# ip addr
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
           valid_lft forever preferred_lft forever
        inet6 ::1/128 scope host
           valid_lft forever preferred_lft forever
    2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
        link/ether 00:0c:29:6e:9b:d2 brd ff:ff:ff:ff:ff:ff
        inet 192.168.2.34/24 brd 192.168.2.255 scope global noprefixroute ens160
           valid_lft forever preferred_lft forever
        inet 192.168.2.111/32 scope global ens160
           valid_lft forever preferred_lft forever
        inet6 fe80::716c:e679:1315:14/64 scope link noprefixroute
           valid_lft forever preferred_lft forever

先在主服务器（192.168.2.34）上查看，可以看到我们配置的网卡上多出来一个虚拟ip：192.168.2.111，反观备服务器（192.168.2.24）上是没有的。

如果都有的话，可能是配置文件中的虚拟路由id（virtual\_router\_i）不相同，导致分成了两个虚拟路由

9、通过虚拟ip访问我们提前装好的nginx，我们安装好的两个nginx分别做了区分

*  主服务器（192.168.2.34）nginx欢迎页

![6f93dc8ce8c346f705aa3fcc2b2c9ea2.png][]

*  备服务器（192.168.2.24）nginx欢迎页

![84267d13fffcf12688040ffd9f0cf5e2.png][]

10、通过我们的VIP（192.168.2.111）访问nginx，此时我们看到是主服务器（192.168.2.34）在响应。

![a76ae4edf1d19a660858753d4431ecf8.png][]

11、我们关停主服务器keepalive服务，同时监控备服务器日志信息（默认在 /var/log/messages ），可以看到备服务器同步已经注册了虚拟ip（192.168.2.111），同时通过 ip addr 查看，发现主服务器的虚拟ip已经剔除。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>systemctl stop keepalived.service</code></p> </td> 
  </tr> 
 </tbody> 
</table>

![db273a427e92a20fd58c6f81b612d107.png][]

12、此时通过虚拟ip再进行访问，发现已经是备服务器（192.168.2.24）在响应，此时已经实现了keepAlived的高可用。高并发时备服务器可以有多个。

![3b66afacac9eedce42b74c8840c4ceff.png][]

13、keepalived的高可用为了保证其他服务的正常使用，如果keepalived可用，但应用服务不可用那就是个假象。所以检测其他服务的功能也是必备的，此处我们以检测nginx服务为例（两台服务器都做配置）

*  在/etc/keepalived目录增加nginx检测脚本chk\_nginx.sh，并赋权可执行 **chmod +x chk\_nginx.sh**

在keepalived.conf中增加检测。两点要求：**vrr\_script 在vrrp\_instance 之前**、**track\_script 在virtual\_ipaddress之前**

vrrp_script chk_nginx {
        script "/etc/keepalived/chk_nginx.sh"
        interval 2
        weight 2
    }
    vrrp_instance VI_1 {
        state MASTER
        interface ens160
        virtual_router_id 1
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 123456
        }
        virtual_ipaddress {
            192.168.2.111
        }
        track_script {
            chk_nginx
        }
    }

14、重启keepalived服务，保证主备keepalived服务正常，此时34服务器为主，24服务器为备，且虚拟ip在34服务器上，此时关停主服务器nginx，再查进程时发现nginx依然服务正常且 PID 已变，说明已经被keepalived重新拉起

![cfc6625fda509f6b68cf5cb2280e91da.png][]

15、此处我们假设一下nginx拉不起来的场景，在脚本中注释拉起nginx的语句，此处不用重启keepalived。

![7c2c0a835468b0895e108ba0667f0a8a.png][]

16、我们停掉nginx，同时我们在备服务器上可以看到，虚拟ip已经漂移至备服务器，同时主keepalived服务已经被停掉

/usr/local/nginx/sbin/nginx -s stop

停之前主keepalived进程

![fd5ca310a9414735835a9a33f0e0fb40.png][]

备服务日志

![172f90ee4c450734588dd6912c7890e2.png][]

停止后keepalived进程

![703798814f9fb6a08e86d1688853f249.png][]

17、此时我们keepalived + Nginx高可用已经实现。

PS：实操过程中有几个要点：

*  设置网卡时，使用 ip addr 查看绑定网卡信息
 *  设置虚拟ip时，一定要设置当前网络环境没有被分配的ip，已经分配的ip，启动服务也不会报错，但访问不到。可以用局域网ip扫描工具扫描下。
    
    ![9e95df5a95b637a1f4689ec8be9b798f.png][]
 *  chk\_nginx.sh中检测间隔时间（sleep 1）一定要比keepalived.conf中配置的检测间隔时间（interval 2）要短，不然会出现一直到不了停keepalived进程

[3b210e43bdd40c27dbf262ecbdcb42f2.png]: https://img-blog.csdnimg.cn/img_convert/3b210e43bdd40c27dbf262ecbdcb42f2.png
[3f81357afc9cbd0e2e60d1ce6d16e752.png]: https://img-blog.csdnimg.cn/img_convert/3f81357afc9cbd0e2e60d1ce6d16e752.png
[6f93dc8ce8c346f705aa3fcc2b2c9ea2.png]: https://img-blog.csdnimg.cn/img_convert/6f93dc8ce8c346f705aa3fcc2b2c9ea2.png
[84267d13fffcf12688040ffd9f0cf5e2.png]: https://img-blog.csdnimg.cn/img_convert/84267d13fffcf12688040ffd9f0cf5e2.png
[a76ae4edf1d19a660858753d4431ecf8.png]: https://img-blog.csdnimg.cn/img_convert/a76ae4edf1d19a660858753d4431ecf8.png
[db273a427e92a20fd58c6f81b612d107.png]: https://img-blog.csdnimg.cn/img_convert/db273a427e92a20fd58c6f81b612d107.png
[3b66afacac9eedce42b74c8840c4ceff.png]: https://img-blog.csdnimg.cn/img_convert/3b66afacac9eedce42b74c8840c4ceff.png
[cfc6625fda509f6b68cf5cb2280e91da.png]: https://img-blog.csdnimg.cn/img_convert/cfc6625fda509f6b68cf5cb2280e91da.png
[7c2c0a835468b0895e108ba0667f0a8a.png]: https://img-blog.csdnimg.cn/img_convert/7c2c0a835468b0895e108ba0667f0a8a.png
[fd5ca310a9414735835a9a33f0e0fb40.png]: https://img-blog.csdnimg.cn/img_convert/fd5ca310a9414735835a9a33f0e0fb40.png
[172f90ee4c450734588dd6912c7890e2.png]: https://img-blog.csdnimg.cn/img_convert/172f90ee4c450734588dd6912c7890e2.png
[703798814f9fb6a08e86d1688853f249.png]: https://img-blog.csdnimg.cn/img_convert/703798814f9fb6a08e86d1688853f249.png
[9e95df5a95b637a1f4689ec8be9b798f.png]: https://img-blog.csdnimg.cn/img_convert/9e95df5a95b637a1f4689ec8be9b798f.png