Linux云计算架构-keepalived心跳检测机制（主备LVS、主主LVS）

喜欢ヅ旅行 2023-03-02 04:56 67阅读 0赞

文章目录

  • Linux云计算架构-keepalived心跳检测机制（主备LVS、主主LVS）
      1. keepalived介绍
      1. keepalived部署
      • 2.1 集群环境介绍
      • 2.2 主备keepalived配置
        • 2.2.1 主备环境介绍
        • 2.2.2 配置主LVS
        • 2.2.3 配置备LVS
        • 2.2.4 测试VIP主备切换
      • 2.3 主主keepalived配置
        • 2.3.1 主主环境介绍
        • 2.3.2 两次主从配置
        • 2.3.3 测试VIP主主切换
      1. keepalived总结

Linux云计算架构-keepalived心跳检测机制（主备LVS、主主LVS）

1. keepalived介绍

keepalived是一款拥有3层检测机制的软件。可以检测web服务器的状态。若keepalived检测到web服务器不可用，则从集群中剔除该服务器，等待人工修复好该服务器后，keepalived又自动的将该服务器加入集群。


























层级 工作位置 作用
layer3 IP网络层 keepalived定期向服务器群中的服务器发送一个ICMP包，即ping包，若发现不通，则认为这台服务器失效，从服务器群中剔除该服务器。
layer4 TCP传输层 keepalived检测服务器的某一个端口是否启动来判断服务器是否正常。如web服务就检测80端口号是否启动，若没启动，则剔除该服务器。
layer5 应用层 用户自定义服务器程序运行检测规则，keepalived根据用户自定义的规则去检查服务器程序的运行是否正常，若不正常，则剔除该服务器。

keepalived的作用：
1.管理VIP：即存在主备分发器，当主分发器挂掉时，VIP自动转移到备分发器上，这时备分发器作为新的主分发器。当主分发器修复后，由于主分发器比备分发器的优先级高，故VIP又会从备分发器转移到原先的主分发器上。

2.监控LVS分发器：为了管理VIP，就要监控LVS分发器是否挂了。主分发器上的keepalived会以组播的形式向备分发器上宣告自己还活着，若备分发器在指定时间内未收到主分发器发来的消息，就会认为主分发器挂了，并开始将VIP转移到备分发器上。

3.管理RS：keepalived会定期访问(elinks)后端真实服务器，看是否正常。如果不正常，则剔除该服务器。即某一个节点挂了。

经典高可用 web 架构: LVS+keepalived+nginx+apache+php+eaccelerator（+nfs 可选）

keepalived官网：https://www.keepalived.org/
在这里插入图片描述

目前最新版是2020年7月13日发布的2.1.5版本。
在这里插入图片描述

2. keepalived部署

2.1 集群环境介绍

网络拓扑图：在这里插入图片描述

生产中，所有的IP地址都应为同一物理网段的IP地址。
主备LVS分发器实现分发器的高可用。也可以配置成主主LVS实现互为主备LVS。

2.2 主备keepalived配置

2.2.1 主备环境介绍




































主机名 IP/子网掩码 网关 作用
mlvs DIP：192.168.10.10/24
VIP：192.168.10.30/32		 192.168.10.1 主LVS
slvs DIP：192.168.10.20/24
VIP：192.168.10.30/32		 192.168.10.1 备LVS
rs1 192.168.10.40/24 192.168.10.1 rs1后端真实服务器
rs2 1921.68.10.50/24 192.168.10.1 rs2后端真实服务器 
  1. # 主备lvs上都要安装ipvsadm和keepalived
  2. # 使用命令ipvsadm -L -n 可以看到，两个分发器都是做负载均衡的，毕竟都没有配后端真实服务器。
  3. # 这不是本文的重点，本文是要测试keepalived的心跳检测机制。
  4. [root@mlvs ~]# yum install ipvsadm keepalived -y
  5. [root@slvs ~]# yum install ipvsadm keepalived -y
  6. [root@mlvs ~]# ipvsadm -L -n
  7. IP Virtual Server version 1.2.1 (size=4096)
  8. Prot LocalAddress:Port Scheduler Flags
  9.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  10. [root@slvs ~]# ipvsadm -L -n
  11. IP Virtual Server version 1.2.1 (size=4096)
  12. Prot LocalAddress:Port Scheduler Flags
  13.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

2.2.2 配置主LVS

修改主keepalived的配置文件：

  1. # 可以使用以下命令查看yum安装的软件包的位置
  2. [root@mlvs ~]# rpm -ql keepalived 
  3. /etc/keepalived/keepalived.conf
  5. # 在复制进配置文件的时候，要把注释信息去掉。
  6. [root@mlvs ~]# vim /etc/keepalived/keepalived.conf 
  7. ! Configuration File for keepalived
  9. global_defs {                    # 全局配置
  10.    notification_email { 
  11.      root@localhost          # 当VIP发生切换时，发送邮件给以下邮箱，一行一个。
  12.    }
  13.    notification_email_from root@localhost          # 发件人
  14.    smtp_server localhost                   # smtp发件服务器地址
  15.    smtp_connect_timeout 30            # smtp连接超时时间
  16.    router_id mlvs                               # 标识当前节点的名字，与备lvs不同。
  17. }
  19. vrrp_instance M1 {                            #定义一个实例
  20.     state MASTER                              # 主LVS,备LVS应设置为BACKUP
  21.     interface ens32                            # 指定检测网络的接口
  22.     virtual_router_id 51                      # vrrp组名，备lvs要与主lvs在同一组。
  23.     priority 100                                   # 优先级(1-254)
  24.     advert_int 1                                   # 组播发送消息时间间隔
  25.     authentication {                             # 设置验证信息，两个LVS必须一致
  26.         auth_type PASS
  27.         auth_pass 1111
  28.     }
  29.     virtual_ipaddress { 
  30.         192.168.10.30                            # 指定VIP,两个LVS必须一致
  31.     }
  32. }
  34. virtual_server 192.168.10.30 80 {       # 添加虚拟服务器VIP
  35.     delay_loop 6                                  # keepalived检测RS的时间间隔
  36.     lb_algo rr                                       # 分发算法，rr指轮询
  37.     lb_kind DR                                     # lvs模式，这里用DR
  38.     nat_mask 255.255.255.0
  39.     persistence_timeout 50                # 长连接保持时间，50s内同一IP的请求会发送给同一RS
  40.     protocol TCP
  42.     real_server 192.168.10.40 80 {        # RS设置
  43.         weight 1                                      # 真实服务器节点的权重，数值越大权重越高
  44.         TCP_CHECK {                                # 检查TCP的80端口号，即layer4
  45.             connect_timeout 3                 # 3s RS无响应则超时
  46.             nb_get_retry 3                         # 超时重试次数
  47.             delay_before_retry 3               # 3s重试一次，即重试间隔
  48.             connect_port 80                      # 检测端口
  49.          }
  50.     }
  51.     real_server 192.168.10.50 80 { 
  52.         weight 1
  53.         TCP_CHECK { 
  54.             connect_timeout 3
  55.             nb_get_retry 3
  56.             delay_before_retry 3
  57.             connect_port 80
  58.         }
  59.     }
  60. }
  62. # 启动主lvs上的keepalived，并设置开机自启。
  63. [root@mlvs ~]# systemctl start keepalived
  64. [root@mlvs ~]# systemctl enable keepalived

一个virtual_server实例就是一个LVS集群，如果要在一台主机上配置多个LVS集群，那么就需要配置多个实例。

  1. # 清空iptables防火墙规则
  2. [root@mlvs ~]# iptables -F
  3. # 使用ipvsadm查看负载均衡的情况
  4. [root@mlvs ~]# ipvsadm -L -n
  5. IP Virtual Server version 1.2.1 (size=4096)
  6. Prot LocalAddress:Port Scheduler Flags
  7.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  8. TCP  192.168.10.30:80 rr persistent 50
  9. # 使用ip a命令查看ens32绑定的所有IP地址
  10. [root@mlvs ~]# ip a | grep ens32
  11. 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  12.     inet 192.168.8.118/24 brd 192.168.8.255 scope global noprefixroute dynamic ens32
  13.     inet 192.168.10.30/32 scope global ens32

2.2.3 配置备LVS

  1. # 发送主lvs的keepalived配置文件给备lvs主机。
  2. [root@mlvs ~]# scp /etc/keepalived/keepalived.conf root@192.168.8.120:/etc/keepalived/
  3. [root@slvs keepalived]# vim keepalived.conf 
  4. ! Configuration File for keepalived
  6. global_defs { 
  7.    notification_email { 
  8.      root@localhost
  9.    }
  10.    notification_email_from root@localhost
  11.    smtp_server localhost
  12.    smtp_connect_timeout 30
  13.    router_id slvs    # 从lvs标识
  14. }
  16. vrrp_instance M1 { 
  17.     state BACKUP     # 设置该实例为从LVS
  18.     interface ens32
  19.     virtual_router_id 51
  20.     priority 90     # 优先级调低，主为100，从为90
  21.     advert_int 1
  22.     authentication { 
  23.         auth_type PASS
  24.         auth_pass 1111
  25.     }
  26.     virtual_ipaddress { 
  27.         192.168.10.30
  28.     }
  29. }
  31. virtual_server 192.168.10.30 80 { 
  32.     delay_loop 6
  33.     lb_algo rr
  34.     lb_kind DR
  35.     nat_mask 255.255.255.0
  36.     persistence_timeout 50
  37.     protocol TCP
  39.     real_server 192.168.10.40 80 { 
  40.         weight 1
  41.         TCP_CHECK { 
  42.             connect_timeout 3
  43.             nb_get_retry 3
  44.             delay_before_retry 3
  45.             connect_port 80
  46.          }
  47.     }
  48.     real_server 192.168.10.50 80 { 
  49.         weight 1
  50.         TCP_CHECK { 
  51.             connect_timeout 3
  52.             nb_get_retry 3
  53.             delay_before_retry 3
  54.             connect_port 80
  55.         }
  56.     }
  57. }
  59. # 启动从lvs上的keepalived，并设置开机自启。
  60. [root@slvs ~]# systemctl start keepalived.service
  61. [root@slvs ~]# systemctl enable keepalived.service
  63. # 清空iptables防火墙规则
  64. [root@slvs ~]# iptables -F 
  66. # 验证下VIP绑定情况，可以看到VIP是没有绑定到从LVS上的。
  67. [root@slvs ~]# ipvsadm -L -n
  68. IP Virtual Server version 1.2.1 (size=4096)
  69. Prot LocalAddress:Port Scheduler Flags
  70.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  71. TCP  192.168.10.30:80 rr persistent 50
  73. [root@slvs ~]# ip a | grep ens32
  74. 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  75.     inet 192.168.8.120/24 brd 192.168.8.255 scope global noprefixroute dynamic ens32

2.2.4 测试VIP主备切换

停止主LVS的keepalived服务，可以看到VIP从主LVS漂移到从LVS上了。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
重启主LVS上的keepalived服务，可以看到VIP从从LVS漂移回到主LVS上。
可以通过从LVS的日志看到，在主LVS恢复后，从LVS的动作为先检查优先级，再切换到BACKUP模式，最后移除VIP。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.3 主主keepalived配置

2.3.1 主主环境介绍




































主机名 IP/子网掩码 网关 作用
mlvs1 DIP：192.168.10.10/24
VIP1：192.168.10.30/32		 192.168.10.1 主LVS，也是备LVS
mlvs2 DIP：192.168.10.20/24
VIP2：192.168.10.60/32		 192.168.10.1 主LVS，也是备LVS
rs1 192.168.10.40/24 192.168.10.1 rs1后端真实服务器
rs2 1921.68.10.50/24 192.168.10.1 rs2后端真实服务器

2.3.2 两次主从配置

由于上面已经配置了一次主从，接下来再配置一次主从即可。

  1. # 配置为M1实例的主，M2实例的从。一个实例可以看作是一个集群。
  2. [root@mlvs2 ~]# vim /etc/keepalived/keepalived.conf 
  3. ! Configuration File for keepalived
  5. global_defs { 
  6.    notification_email { 
  7.      root@localhost
  8.    }
  9.    notification_email_from root@localhost
  10.    smtp_server localhost
  11.    smtp_connect_timeout 30
  12.    router_id mlvs
  13. }
  15. vrrp_instance M1 { 
  16.     state MASTER
  17.     interface ens32
  18.     virtual_router_id 51
  19.     priority 100
  20.     advert_int 1
  21.     authentication { 
  22.         auth_type PASS
  23.         auth_pass 1111
  24.     }
  25.     virtual_ipaddress { 
  26.         192.168.10.30
  27.     }
  28. }
  30. vrrp_instance M2 { 
  31.     state BACKUP
  32.     interface ens32
  33.     virtual_router_id 52
  34.     priority 90
  35.     advert_int 1
  36.     authentication { 
  37.         auth_type PASS
  38.         auth_pass 1111
  39.     }
  40.     virtual_ipaddress { 
  41.         192.168.10.60
  42.     }
  43. }
  45. virtual_server 192.168.10.30 80 { 
  46.     delay_loop 6
  47.     lb_algo rr
  48.     lb_kind DR
  49.     nat_mask 255.255.255.0
  50.     persistence_timeout 50
  51.     protocol TCP
  53.     real_server 192.168.10.40 80 { 
  54.         weight 1
  55.         TCP_CHECK { 
  56.             connect_timeout 3
  57.             nb_get_retry 3
  58.             delay_before_retry 3
  59.             connect_port 80
  60.          }
  61.     }
  62.     real_server 192.168.10.50 80 { 
  63.         weight 1
  64.         TCP_CHECK { 
  65.             connect_timeout 3
  66.             nb_get_retry 3
  67.             delay_before_retry 3
  68.             connect_port 80
  69.         }
  70.     }
  71. }
  73. virtual_server 192.168.10.60 80 { 
  74.     delay_loop 6
  75.     lb_algo rr
  76.     lb_kind DR
  77.     nat_mask 255.255.255.0
  78.     persistence_timeout 50
  79.     protocol TCP
  81.     real_server 192.168.10.40 80 { 
  82.         weight 1
  83.         TCP_CHECK { 
  84.             connect_timeout 3
  85.             nb_get_retry 3
  86.             delay_before_retry 3
  87.             connect_port 80
  88.          }
  89.     }
  90.     real_server 192.168.10.50 80 { 
  91.         weight 1
  92.         TCP_CHECK { 
  93.             connect_timeout 3
  94.             nb_get_retry 3
  95.             delay_before_retry 3
  96.             connect_port 80
  97.         }
  98.     }
  99. }
  101. # 检测主1上的VIP情况，可以看到只绑定了一个VIP。因为主1只是实例M1的主LVS。
  102. [root@mlvs1 ~]# systemctl restart keepalived.service 
  103. [root@mlvs1 ~]# iptables -F
  104. [root@mlvs1 ~]# ip a |grep ens32
  105. 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  106.     inet 192.168.8.118/24 brd 192.168.8.255 scope global noprefixroute dynamic ens32
  107.     inet 192.168.10.30/32 scope global ens32
  108. [root@mlvs1 ~]# ipvsadm -L -n
  109. IP Virtual Server version 1.2.1 (size=4096)
  110. Prot LocalAddress:Port Scheduler Flags
  111.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  112. TCP  192.168.10.30:80 rr persistent 50
  113. TCP  192.168.10.60:80 rr persistent 50
  115. # 配置为M2实例的主，M1实例的从。
  116. [root@mlvs2 ~]# cat /etc/keepalived/keepalived.conf 
  117. ! Configuration File for keepalived
  119. global_defs { 
  120.    notification_email { 
  121.      root@localhost
  122.    }
  123.    notification_email_from root@localhost
  124.    smtp_server localhost
  125.    smtp_connect_timeout 30
  126.    router_id slvs
  127. }
  129. vrrp_instance M1 { 
  130.     state BACKUP
  131.     interface ens32
  132.     virtual_router_id 51
  133.     priority 90
  134.     advert_int 1
  135.     authentication { 
  136.         auth_type PASS
  137.         auth_pass 1111
  138.     }
  139.     virtual_ipaddress { 
  140.         192.168.10.30
  141.     }
  142. }
  144. vrrp_instance M2 { 
  145.     state MASTER
  146.     interface ens32
  147.     virtual_router_id 52
  148.     priority 100
  149.     advert_int 1
  150.     authentication { 
  151.         auth_type PASS
  152.         auth_pass 1111
  153.     }
  154.     virtual_ipaddress { 
  155.         192.168.10.60
  156.     }
  157. }
  159. virtual_server 192.168.10.30 80 { 
  160.     delay_loop 6
  161.     lb_algo rr
  162.     lb_kind DR
  163.     nat_mask 255.255.255.0
  164.     persistence_timeout 50
  165.     protocol TCP
  167.     real_server 192.168.10.40 80 { 
  168.         weight 1
  169.         TCP_CHECK { 
  170.             connect_timeout 3
  171.             nb_get_retry 3
  172.             delay_before_retry 3
  173.             connect_port 80
  174.          }
  175.     }
  176.     real_server 192.168.10.50 80 { 
  177.         weight 1
  178.         TCP_CHECK { 
  179.             connect_timeout 3
  180.             nb_get_retry 3
  181.             delay_before_retry 3
  182.             connect_port 80
  183.         }
  184.     }
  185. }
  187. virtual_server 192.168.10.60 80 { 
  188.     delay_loop 6
  189.     lb_algo rr
  190.     lb_kind DR
  191.     nat_mask 255.255.255.0
  192.     persistence_timeout 50
  193.     protocol TCP
  195.     real_server 192.168.10.40 80 { 
  196.         weight 1
  197.         TCP_CHECK { 
  198.             connect_timeout 3
  199.             nb_get_retry 3
  200.             delay_before_retry 3
  201.             connect_port 80
  202.          }
  203.     }
  204.     real_server 192.168.10.50 80 { 
  205.         weight 1
  206.         TCP_CHECK { 
  207.             connect_timeout 3
  208.             nb_get_retry 3
  209.             delay_before_retry 3
  210.             connect_port 80
  211.         }
  212.     }
  213. }
  215. # 检测主2上的VIP情况，可以看到只绑定了一个VIP。因为主2只是实例M2的主LVS。
  216. [root@mlvs2 ~]# systemctl restart keepalived.service 
  217. [root@mlvs2 ~]# iptables -F
  218. [root@mlvs2 ~]# ip a | grep ens32
  219. 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  220.     inet 192.168.8.120/24 brd 192.168.8.255 scope global noprefixroute dynamic ens32
  221.     inet 192.168.10.60/32 scope global ens32
  222. [root@mlvs2 ~]# ipvsadm -L -n
  223. IP Virtual Server version 1.2.1 (size=4096)
  224. Prot LocalAddress:Port Scheduler Flags
  225.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  226. TCP  192.168.10.30:80 rr persistent 50
  227. TCP  192.168.10.60:80 rr persistent 50

2.3.3 测试VIP主主切换

可以看到，配置完成后，一台LVS主机是绑定一个VIP的。mlvs1绑定的是192.168.10.30，mlvs2绑定的是192.168.10.60。
停止mlvs1上的keepalived服务，可以看到VIP漂移了。
在这里插入图片描述
在这里插入图片描述
启动mlvs1上的keepalived服务，可以看到VIP漂移回来了。
在这里插入图片描述
在这里插入图片描述
停止mlvs2上的keepalived服务，可以看到VIP漂移了。
在这里插入图片描述
在这里插入图片描述
启动mlvs2上的keepalived服务，可以看到VIP漂移回来了。
在这里插入图片描述
在这里插入图片描述

3. keepalived总结

①从keepalived的工作原理可以知道，它是在IP网络层、TCP传输层以及应用层这三个层次进行服务器检测的。若服务器不可用则从集群中剔除，若修复服务器后，则将该服务器加入集群。

②keepalived主要有3个作用：管理VIP、监控LVS分发器、管理RS。

③在本文集群中，主LVS和备LVS属于同一个vrrp分组，主LVS定期以组播的方式向备LVS宣告自身还活着，这时备LVS就不会喧宾夺主。但是当备LVS在一个周期内未收到主LVS的宣告，备LVS就会自动提升自己为主LVS，VIP也会自动从主LVS漂移到备LVS。

④keepalived常与web服务器、mysql服务器构建集群。本文就是keepalived+lvs+DR+http架构，如后端real_server监控的是3306端口，则该架构就转换为keepalived+lvs+DR+mysql。

⑤每一个vrrp_instance都是一个集群，配置主LVS和备LVS都是属于配置同一个集群，故vrrp_instance实例名要相同。主LVS为了能以组播的方式宣告自己还活着，virtual_route_id VRRP组ID必须相同。每一个keepalived又是属于自身的，故拥有不一样的route_id。区分主备可以通过state定义，当主LVS故障后，VIP根据state和集群中节点的优先级priority进行VIP漂移。一般会漂移到state为BACKUP、priority在备LVS中最高的节点上。通过以上配置，可以扩展为一主多备，多主多备。

⑥2台服务器可以实现主备、主主。主备属于同一集群，而主主可以看作是两个主备。3台服务器可以一主二备，三主。一主二备属于同一集群，而三主可以看作是三个一主二备。这样，当主LVS挂了，会有备LVS接收VIP，当备LVS挂了，会有另一台备LVS接收。实现生产环境不中断服务的高可用架构。

发表评论

表情：
评论列表 （有 0 条评论，67人围观）

还没有评论，来说两句吧...

相关阅读