LVS+Keepalived+Nginx高可用负载均衡

向右看齐 2023-02-13 03:59 18阅读 0赞

## 介绍： ##

1、lvs简介

LVS主要用来做四层负载均衡。

2、keepalived简介

Keepalived是分布式部署系统解决系统高可用的软件，结合LVS（Linux Virtual Server）使用，其功能类似于heartbeat，解决单机宕机的问题。  
      Keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。通过VRRP协议结合LVS，对组群服务器监控情况，若master出现宕机情况，则将VIP漂移到backup机上。实现了分布式系统高可用。可以理解为：keepalived是LVS的管理软件，根据监控情况，将宕机服务器从ipvsadm移除掉。  
      Keepalived的诞生最初是为LVS ipvs（director）提供高可用性的，后来发展一个多功能、通用的轻量级高可用组件，可以为ipvs、nginx、haproxy等诸多服务提供高可用功能，主要应用在负载均衡调度器上，同时也可以检查后端各realserver的健康状态。

3、nginx简介

Nginx（发音同engine x）是一个网页服务器，它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的协议链接，以及一个负载均衡器和一个HTTP缓存。

Nginx主要用来做七层负载均衡

4、负载均衡

四层负载均衡工作在OSI模型的传输层，由于在传输层，只有TCP/UDP协议，这两种协议中除了包含源IP、目标IP以外，还包含源端口号及目的端口号。四层负载均衡服务器在接受到客户端请求后，以后通过修改数据包的地址信息（IP+端口号）将流量转发到应用服务器。

七层负载均衡工作在OSI模型的应用层，应用层协议较多，常用http、radius、dns等。七层负载就可以基于这些协议来负载。这些应用层协议中会包含很多有意义的内容。比如同一个Web服务器的负载均衡，除了根据IP加端口进行负载外，还可根据七层的URL、浏览器类别、语言来决定是否要进行负载均衡。

四层通过虚拟 IP + 端口接收请求，然后再分配到真实的服务器，七层通过虚拟的 URL 或主机名接收请求，然后再分配到真实的服务器。所谓的四到七层负载均衡，就是在对后台的服务器进行负载均衡时，依据四层的信息或七层的信息来决定怎么样转发流量。

5、lvs和nginx区别

1.lvs工作在第4层，负载能力强，逻辑简单，能对几乎所有应用进行负载，包括web和数据库；nginx工作在第7层，适用场合远多于lvs，负载能力相对较差。  
2.lvs对网络稳定性依赖比较大；Nginx对网络的依赖比较小，理论上只要Ping得通，网页访问正常就能连通。  
3.Nginx可以通过服务器处理网页返回的状态码、超时等来检测服务器内部的故障，并会把返回错误的请求重新发送到另一个节点；目前LVS和LDirectd 也支持对服务器内部情况的监控，但不能重新发送请求。  
4.Nginx安装和配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来；LVS的配置、测试耗时较长。  
5.每日PV1000万以下或并发请求1万以下都可以考虑用Nginx；构建大型网站或者提供重要服务且机器较多时，可多加考虑利用LVS。

架构拓扑

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70][]

主机信息

主机名        IP              操作系统            软件
    lvs01    192.168.14.211    CentOS 7.6.1810    lvs+keepalived
    lvs01    192.168.14.212    CentOS 7.6.1810    lvs+keepalived
    Vip      192.168.14.216
    nginx01  192.168.14.213    CentOS 7.6.1810    nginx（web）
    nginx02  192.168.14.214    CentOS 7.6.1810    nginx（web）

## 一、Lvs+keepalived ##

1、关闭防火墙和selinux

#192.168.14.211主机
    [root@localhost ~]# hostnamectl set-hostname lvs01
    [root@localhost ~]# systemctl stop firewalld
    [root@localhost ~]# systemctl disable firewalld
    [root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
    [root@localhost ~]# setenforce 0
    
    #192.168.14.212主机
    [root@localhost ~]# hostnamectl set-hostname lvs02
    [root@localhost ~]# systemctl stop firewalld
    [root@localhost ~]# systemctl disable firewalld
    Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
    Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    [root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
    [root@localhost ~]# setenforce 0

2、安装ipvs

LVS无需安装，安装的是管理工具，第一种叫ipvsadm，第二种叫keepalive。ipvsadm是通过命令行管理，而keepalive读取配置文件管理。

[root@lvs01 ~]# yum -y install ipvsadm
    [root@lvs02 ~]# yum -y install ipvsadm

ipvsadm模块加载进系统

[root@lvs01 ~]# ipvsadm
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    [root@lvs01 ~]# lsmod | grep ip_vs
    ip_vs                 145497  0 
    nf_conntrack          133095  1 ip_vs
    libcrc32c              12644  3 xfs,ip_vs,nf_conntrack
    
    
    [root@lvs02 ~]# ipvsadm
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    [root@lvs02 ~]# lsmod | grep ip_vs
    ip_vs                 145497  0 
    nf_conntrack          133095  1 ip_vs
    libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

3、安装keepalived

[root@lvs01 ~]# yum install -y keepalived
    [root@lvs02 ~]# yum install -y keepalived

4、修改keepalived配置文件

[root@lvs01 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
    [root@lvs01 ~]# vi /etc/keepalived/keepalived.conf
    ! Configuration File for keepalived
    global_defs {
       router_id lvs01            #router_id 机器标识，通常为hostname，但不一定非得是hostname。故障发生时，邮件通知会用到。
    }
    vrrp_instance VI_1 {          #vrrp实例定义部分
        state MASTER              #设置lvs的状态，MASTER和BACKUP两种，必须大写 
        interface ens32           #设置对外服务的接口
        virtual_router_id 100     #设置虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一标示 
        priority 100              #定义优先级，数字越大优先级越高，在一个vrrp——instance下，master的优先级必须大于backup
        advert_int 1              #设定master与backup负载均衡器之间同步检查的时间间隔，单位是秒
        authentication {          #设置验证类型和密码
            auth_type PASS        #主要有PASS和AH两种
            auth_pass 1111        #验证密码，同一个vrrp_instance下MASTER和BACKUP密码必须相同
        }
        virtual_ipaddress {       #设置虚拟ip地址，可以设置多个，每行一个
            192.168.14.216
        }
    }
    virtual_server 192.168.14.216 80 {    #设置虚拟服务器，需要指定虚拟ip和服务端口
        delay_loop 6                      #健康检查时间间隔
        lb_algo wrr                       #负载均衡调度算法
        lb_kind DR                        #负载均衡转发规则
        persistence_timeout 50            #设置会话保持时间，对动态网页非常有用
        protocol TCP                      #指定转发协议类型，有TCP和UDP两种
        real_server 192.168.14.213 80 {   #配置服务器节点1，需要指定real server的真实IP地址和端口
        weight 1                          #设置权重，数字越大权重越高
        TCP_CHECK {                       #realserver的状态监测设置部分单位秒
           connect_timeout 10             #连接超时为10秒
           retry 3                        #重连次数
           delay_before_retry 3           #重试间隔
           connect_port 80                #连接端口为80，要和上面的保持一致
           }
        }
         real_server 192.168.14.214 80 {  #配置服务器节点2，需要指定real server的真实IP地址和端口
         weight 1                         #设置权重，数字越大权重越高
         TCP_CHECK {                      #realserver的状态监测设置部分单位秒
           connect_timeout 10             #连接超时为10秒
           retry 3                        #重连次数
           delay_before_retry 3           #重试间隔
           connect_port 80                #连接端口为80，要和上面的保持一致
           }
         }
    }

[root@lvs02 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
    [root@lvs02 ~]# vi /etc/keepalived/keepalived.conf
    [root@lvs02 ~]# cat /etc/keepalived/keepalived.conf
    ! Configuration File for keepalived
    global_defs {
       router_id lvs02          #标识
    }
    vrrp_instance VI_1 {
        state BACKUP            #lvs标识，BACKUP
        interface ens32
        virtual_router_id 100
        priority 99             #优先级
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        virtual_ipaddress {
            192.168.14.216
        }
    }
    virtual_server 192.168.14.216 80 {
        delay_loop 6
        lb_algo wrr
        lb_kind DR
        persistence_timeout 50
        protocol TCP
        real_server 192.168.14.213 80 {
        weight 1
        TCP_CHECK {
           connect_timeout 10
           retry 3
           delay_before_retry 3
           connect_port 80 
           }
        }
         real_server 192.168.14.214 80 {
         weight 1
         TCP_CHECK {
           connect_timeout 10
           retry 3
           delay_before_retry 3
           connect_port 80
           }
         }
    }

5、启动服务

[root@lvs01 ~]# systemctl start keepalived
    [root@lvs02 ~]# systemctl start keepalived

6、查看vip，lvs01上有vip192.168.14.216，lvs02是备用所以没有

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 2][]

## 二、nginx ##

1、关闭防火墙和selinux

[root@localhost ~]# hostnamectl set-hostname nginx01
    [root@localhost ~]# systemctl stop firewalld
    [root@localhost ~]# systemctl disable firewalld
    [root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
    [root@localhost ~]# setenforce 0
    
    [root@localhost ~]# hostnamectl set-hostname nginx02
    [root@localhost ~]# systemctl stop firewalld
    [root@localhost ~]# systemctl disable firewalld
    [root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
    [root@localhost ~]# setenforce 0

1、安装

#添加yum源
    cat  <<EOF>> /etc/yum.repos.d/nginx.repo 
    [aliyun]
    name=aliyun epel
    baseurl=http://mirrors.aliyun.com/epel/7Server/x86_64/
    gpgcheck=0
    EOF
    
    #net-tools是ifconfig使用需要
    [root@nginx01 ~]# yum install -y nginx net-tools
    [root@nginx02 ~]# yum install -y nginx net-tools

2、配置realserver.sh

打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能并设置回环ip，nginx01和nginx02配置如下

[root@nginx01 ~]# vi /etc/rc.d/init.d/realserver.sh
    #!/bin/bash
        SNS_VIP=192.168.14.216
        /etc/rc.d/init.d/functions
        case "$1" in
        start)
            ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
            /sbin/route add -host $SNS_VIP dev lo:0
            echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
            echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
            echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
            echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
            sysctl -p >/dev/null 2>&1
            echo "RealServer Start OK"
            ;;
        stop)
            ifconfig lo:0 down
            route del $SNS_VIP >/dev/null 2>&1
            echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
            echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
            echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
            echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
            echo "RealServer Stoped"
            ;;
        *)
            echo "Usage: $0 {start|stop}"
            exit 1
        esac
        exit 0

此脚本用于节点服务器绑定 VIP ，并抑制响应 VIP 的 ARP 请求。这样做的目的是为了不让关于 VIP 的 ARP 广播时，节点服务器应答（ 因为节点服务器都绑定了 VIP ，如果不做设置它们会应答，就会乱套 ）。

3、realserver.sh脚本授予执行权限

[root@nginx01 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh
    [root@nginx02 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh

4、启动服务

[root@nginx01 ~]# /etc/rc.d/init.d/realserver.sh start 
    /etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
    RealServer Start OK
    
    [root@nginx02 ~]# /etc/rc.d/init.d/realserver.sh  start 
    /etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
    RealServer Start OK

5、查看vip

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 4][]

6、修改一下网页显示，并重启服务

[root@nginx01 ~]# echo "nginx01" > /usr/share/doc/HTML/index.html
    [root@nginx01 ~]# systemctl restart nginx
    
    [root@nginx02 ~]# echo "nginx02 web" > /usr/share/doc/HTML/index.html
    [root@nginx02 ~]# systemctl restart nginx

7、客户端访问vip

![20200527160337297.png][]

![20200527160401612.png][]

## 三、故障模拟 ##

1、停止lvs01服务，模拟故障

[root@lvs01 ~]# systemctl stop keepalived

lvs01停止服务

![20200527161053734.png][]

lvs02从BACKUP转换为MASTER状态

![20200527161004979.png][]

负载正常

![20200527161138630.png][]

2、lvs01恢复之后自动抢占master状态

[root@lvs01 ~]# systemctl start keepalived

![20200527162213917.png][]

因为lvs02的优先级是99，lvs01的优先级是100，越高越优先

![20200527162229294.png][]

3、停止nginx02，默认后端web服务故障

[root@nginx02 ~]# systemctl stop nginx

lvs01会检查后端web状态，异常就从服务器列表移除

![20200527162504363.png][]

lvs02同理

![20200527162535912.png][]

客户端访问只能是nginx01响应

![20200527162601525.png][]

![20200527162617464.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200527145624387.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200527153555121.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200527153606880.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200527155924254.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200527155942255.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RsYWRhZ2lv,size_16,color_FFFFFF,t_70
[20200527160337297.png]: https://img-blog.csdnimg.cn/20200527160337297.png
[20200527160401612.png]: https://img-blog.csdnimg.cn/20200527160401612.png
[20200527161053734.png]: https://img-blog.csdnimg.cn/20200527161053734.png
[20200527161004979.png]: https://img-blog.csdnimg.cn/20200527161004979.png
[20200527161138630.png]: https://img-blog.csdnimg.cn/20200527161138630.png
[20200527162213917.png]: https://img-blog.csdnimg.cn/20200527162213917.png
[20200527162229294.png]: https://img-blog.csdnimg.cn/20200527162229294.png
[20200527162504363.png]: https://img-blog.csdnimg.cn/20200527162504363.png
[20200527162535912.png]: https://img-blog.csdnimg.cn/20200527162535912.png
[20200527162601525.png]: https://img-blog.csdnimg.cn/20200527162601525.png
[20200527162617464.png]: https://img-blog.csdnimg.cn/20200527162617464.png