Keepalived原理与实战精讲

我就是我 2022-09-22 12:58 135阅读 0赞

什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是 保持在线 了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，那说到keepalived时不得不说的一个协议就是VRRP协议，可以说这个协议就是keepalived实现的基础，那么首先我们来看看VRRP协议  
  
注：搞运维的要有足够的耐心哦，不理解协议就很难透彻的掌握keepalived的了

一，VRRP协议

VRRP协议  
学过网络的朋友都知道，网络在设计的时候必须考虑到冗余容灾，包括线路冗余，设备冗余等，防止网络存在单点故障，那在路由器或三层交换机处实现冗余就显得尤为重要，在网络里面有个协议就是来做这事的，这个协议就是VRRP协议，Keepalived就是巧用VRRP协议来实现高可用性(HA)的  
  
VRRP协议有一篇文章写的非常好，大家可以直接看这里(记得认真看看哦，后面基本都已这个为基础的了)  
帖子地址： [http://bbs.ywlm.net/thread-790-1-1.html][http_bbs.ywlm.net_thread-790-1-1.html]  
只需要把服务器当作路由器即可！  
  
在《 [VRRP协议][http_bbs.ywlm.net_thread-790-1-1.html] 》里讲到了虚拟路由器的ID也就是VRID在这里比较重要  
  
keepalived完全遵守VRRP协议，包括竞选机制等等

二，Keepalived原理

Keepalived原理  
keepalived也是模块化设计，不同模块复杂不同的功能，下面是keepalived的组件  
core check vrrp libipfwc libipvs-2.4 libipvs-2.6  
  
core：是keepalived的核心，复杂主进程的启动和维护，全局配置文件的加载解析等  
check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析  
vrrp：VRRPD子进程，VRRPD子进程就是来实现VRRP协议的  
libipfwc：iptables(ipchains)库，配置LVS会用到  
libipvs\*：配置LVS会用到  
注意，keepalived和LVS完全是两码事，只不过他们各负其责相互配合而已

![114758vj2ob2p2hxvpdxvb.png.thumb.jpg][]

keepalived启动后会有三个进程  
父进程：内存管理，子进程管理等等  
子进程：VRRP子进程  
子进程：healthchecker子进程  
  
有图可知，两个子进程都被系统WatchDog看管，两个子进程各自复杂自己的事，healthchecker子进程复杂检查各自服务器的健康程度，例如HTTP，LVS等等，如果healthchecker子进程检查到MASTER上服务不可用了，就会通知本机上的兄弟VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态

三，Keepalived配置文件详解

keepalived配置详解  
keepalived有三类配置区域(姑且就叫区域吧)，注意不是三种配置文件，是一个配置文件里面三种不同类别的配置区域  
  
全局配置(Global Configuration)  
VRRPD配置  
LVS配置  
  
一，全局配置  
全局配置又包括两个子配置：  
全局定义(global definition)  
静态路由配置(static ipaddress/routes)  
  
1，全局定义(global definition) 配置范例

1.  global\_defs  
    
2.  \{  
    
3.  notification\_email  
    
4.  \{  
    
5.  admin@example.com  
    
6.  \}  
    
7.  notification\_email\_from admin@example.com  
    
8.  smtp\_server 127.0.0.1  
    
9.  stmp\_connect\_timeout 30  
    
10. router\_id node1  
    
11. \}

复制代码

全局配置解析  
global\_defs全局配置标识，表面这个区域\{\}是全局配置

1.  notification\_email  
    
2.    
    
3.  \{  
    
4.    
    
5.  admin@example.com  
    
6.  admin@ywlm.net  
    
7.    
    
8.  \}

复制代码

表示keepalived在发生诸如切换操作时需要发送email通知，以及email发送给哪些邮件地址，邮件地址可以多个，每行一个  
  
notification\_email\_from  [admin@example.com][admin_example.com]  
表示发送通知邮件时邮件源地址是谁  
  
smtp\_server 127.0.0.1  
表示发送email时使用的smtp服务器地址，这里可以用本地的sendmail来实现  
  
smtp\_connect\_timeout 30  
连接smtp连接超时时间  
  
router\_id node1  
机器标识  
  
2，静态地址和路由配置范例

1.  static\_ipaddress  
    
2.  \{  
    
3.  192.168.1.1/24 brd + dev eth0 scope global  
    
4.  192.168.1.2/24 brd + dev eth1 scope global  
    
5.  \}  
    
6.  static\_routes  
    
7.  \{  
    
8.  src $SRC\_IP to $DST\_IP dev $SRC\_DEVICE  
    
9.  src $SRC\_IP to $DST\_IP via $GW dev $SRC\_DEVICE  
    
10. \}

复制代码

这里实际上和系统里面命令配置IP地址和路由一样例如：  
192.168.1.1/24 brd + dev eth0 scope global 相当于: ip addr add 192.168.1.1/24 brd + dev eth0 scope global  
就是给eth0配置IP地址  
路由同理  
一般这个区域不需要配置  
这里实际上就是给服务器配置真实的IP地址和路由的，在复杂的环境下可能需要配置， 一般不会用这个来配置 ，我们可以直接用vi /etc/sysconfig/network-script/ifcfg-eth1来配置，切记这里可不是VIP哦，不要搞混淆了，切记切记！  
  
二，VRRPD配置  
VRRPD配置包括三个类  
VRRP同步组(synchroization group)  
VRRP实例(VRRP Instance) VRRP脚本  
  
1，VRRP同步组(synchroization group)配置范例

1.  vrrp\_sync\_group VG\_1 \{  
    
2.  group \{  
    
3.  http  
    
4.  mysql  
    
5.  \}  
    
6.  notify\_master /path/to/to\_master.sh  
    
7.  notify\_backup /path\_to/to\_backup.sh  
    
8.  notify\_fault "/path/fault.sh VG\_1"  
    
9.  notify /path/to/notify.sh  
    
10. smtp\_alert  
    
11. \}

复制代码

其中：

1.  group \{  
    
2.  http  
    
3.  mysql  
    
4.  \}

复制代码

http和mysql是实例名和下面的实例名一致

1.  notify\_master /path/to/to\_master.sh：表示当切换到master状态时，要执行的脚本  
    
2.    
    
3.  notify\_backup /path\_to/to\_backup.sh：表示当切换到backup状态时，要执行的脚本  
    
4.    
    
5.  notify\_fault "/path/fault.sh VG\_1"

复制代码

notify /path/to/notify.sh：  
  
smtp alter表示切换时给global defs中定义的邮件地址发送右键通知  
  
2，VRRP实例(instance) 配置范例

1.  vrrp\_instance http \{  
    
2.  state MASTER  
    
3.  interface eth0  
    
4.  dont\_track\_primary  
    
5.  track\_interface \{  
    
6.  eth0  
    
7.  eth1  
    
8.  \}  
    
9.  mcast\_src\_ip <IPADDR>  
    
10. garp\_master\_delay 10  
    
11. virtual\_router\_id 51  
    
12. priority 100  
    
13. advert\_int 1  
    
14. authentication \{  
    
15. auth\_type PASS  
    
16. autp\_pass 1234  
    
17. \}  
    
18. virtual\_ipaddress \{  
    
19. \#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>  
    
20. 192.168.200.17/24 dev eth1  
    
21. 192.168.200.18/24 dev eth2 label eth2:1  
    
22. \}  
    
23. virtual\_routes \{  
    
24. \# src <IPADDR> \[to\] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab  
    
25. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1  
    
26. 192.168.110.0/24 via 192.168.200.254 dev eth1  
    
27. 192.168.111.0/24 dev eth2  
    
28. 192.168.112.0/24 via 192.168.100.254  
    
29. \}  
    
30. nopreempt  
    
31. preemtp\_delay 300  
    
32. debug  
    
33. \}

复制代码

state： state指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，但这里指定的不算，还是得要通过竞选通过优先级来确定，里如果这里设置为master，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的高，那么他会就回抢占为master  
  
interface： 实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的  
  
dont track primary： 忽略VRRP的interface错误  
  
track interface： 跟踪接口，设置额外的监控，里面任意一块网卡出现问题，都会进入故障(FAULT)状态，例如，用nginx做均衡器的时候，内网必须正常工作，如果内网出问题了，这个均衡器也就无法运作了，所以必须对内外网同时做健康检查  
  
mcast src ip： 发送多播数据包时的源IP地址，这里注意了，这里实际上就是在那个地址上发送VRRP通告，这个非常重要，一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口，如果没有设置那么就用默认的绑定的网卡的IP，也就是interface指定的IP地址  
  
garp master delay： 在切换到master状态后，延迟进行免费的ARP(gratuitous ARP)请求  
  
virtual router id： 这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地址  
  
priority 100： 设置本节点的优先级，优先级高的为master  
  
advert int： 检查间隔，默认为1秒  
  
virtual ipaddress： 这里设置的就是VIP，也就是虚拟IP地址，他随着state的变化而增加删除，当state为master的时候就添加，当state为backup的时候删除，这里主要是有优先级来决定的，和state设置的值没有多大关系，这里可以设置多个IP地址  
  
virtual routes： 原理和virtual ipaddress一样，只不过这里是增加和删除路由  
  
lvs sync daemon interface： lvs syncd绑定的网卡  
  
authentication： 这里设置认证  
  
auth type： 认证方式，可以是PASS或AH两种认证方式  
  
auth pass： 认证密码  
  
nopreempt： 设置不抢占，这里只能设置在state为backup的节点上，而且这个节点的优先级必须别另外的高  
  
preempt delay： 抢占延迟  
  
debug： debug级别  
  
notify master： 和sync group这里设置的含义一样，可以单独设置，例如不同的实例通知不同的管理人员，http实例发给网站管理员，mysql的就发邮件给DBA  
  
3，VRRP脚本

1.  vrrp\_script check\_running \{  
    
2.  script "/usr/local/bin/check\_running"  
    
3.  interval 10  
    
4.  weight 10  
    
5.  \}  
    
6.    
    
7.  vrrp\_instance http \{  
    
8.  state BACKUP  
    
9.  smtp\_alert  
    
10. interface eth0  
    
11. virtual\_router\_id 101  
    
12. priority 90  
    
13. advert\_int 3  
    
14. authentication \{  
    
15. auth\_type PASS  
    
16. auth\_pass whatever  
    
17. \}  
    
18. virtual\_ipaddress \{  
    
19. 1.1.1.1  
    
20. \}  
    
21. track\_script \{  
    
22. check\_running weight 20  
    
23. \}  
    
24. \}

复制代码

首先在vrrp\_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更   
 vrrp\_script check\_running \{

> > script "/usr/local/bin/check\_running"
> 
> > interval 10 \#脚本执行间隔
> 
> > weight 10 \#脚本结果导致的优先级变更：10表示优先级+10；-10则表示优先级-10
> 
> > \}

然后在 实例 ( vrrp\_instance )里面引用，有点类似脚本里面的函数引用一样：先定义，后引用函数名  
track\_script \{  
check\_running weight 20  
\}  
  
注意：VRRP脚本(vrrp\_script)和VRRP实例( vrrp\_instance )属于同一个级别

LVS配置

如果你没有配置LVS+keepalived那么无需配置这段区域，里如果你用的是nginx来代替LVS，这无限配置这款，这里的LVS配置是专门为keepalived+LVS集成准备的。  
注意了，这里LVS配置并不是指真的安装LVS然后用ipvsadm来配置他，而是用keepalived的配置文件来代替ipvsadm来配置LVS，这样会方便很多，一个配置文件搞定这些，维护方便，配置方便是也！  
  
这里LVS配置也有两个配置  
一个是虚拟主机组配置  
一个是虚拟主机配置  
  
1，虚拟主机组配置文件详解  
这个配置是可选的，根据需求来配置吧，这里配置主要是为了让一台realserver上的某个服务可以属于多个Virtual Server，并且只做一次健康检查  
  
virtual\_server\_group <STRING> \{   
\# VIP port  
<IPADDR> <PORT>  
<IPADDR> <PORT>  
fwmark <INT>  
\}  
  
2，虚拟主机配置  
  
virtual server可以以下面三种的任意一种来配置

1.  1. virtual server IP port  
    
2.  2. virtual server fwmark int  
    
3.  3. virtual server group string

复制代码

下面以第一种比较常用的方式来配详细解说一下  
  
virtual\_server 192.168.1.2 80 \{ \#设置一个virtual server: VIP:Vport  
delay\_loop 3 \# service polling的delay时间，即服务轮询的时间间隔  
  
lb\_algo rr|wrr|lc|wlc|lblc|sh|dh \#LVS调度算法  
lb\_kind NAT|DR|TUN \#LVS集群模式   
persistence\_timeout 120 \#会话保持时间（秒为单位），即以用户在120秒内被分配到同一个后端realserver  
persistence\_granularity <NETMASK> \#LVS会话保持粒度，ipvsadm中的-M参数，默认是0xffffffff，即每个客户端都做会话保持  
protocol TCP \#健康检查用的是TCP还是UDP  
ha\_suspend \#suspendhealthchecker’s activity  
virtualhost <string> \#HTTP\_GET做健康检查时，检查的web服务器的虚拟主机（即host：头）  
  
sorry\_server <IPADDR> <PORT> \#备用机，就是当所有后端realserver节点都不可用时，就用这里设置的，也就是临时把所有的请求都发送到这里啦  
  
real\_server <IPADDR> <PORT> \#后端真实节点主机的权重等设置，主要，后端有几台这里就要设置几个  
\{   
weight 1 \#给每台的权重，0表示失效(不知给他转发请求知道他恢复正常)，默认是1  
inhibit\_on\_failure \#表示在节点失败后，把他权重设置成0，而不是冲IPVS中删除  
  
notify\_up <STRING> | <QUOTED-STRING> \#检查服务器正常(UP)后，要执行的脚本  
notify\_down <STRING> | <QUOTED-STRING> \#检查服务器失败(down)后，要执行的脚本  
  
 HTTP\_GET \#健康检查方式  
\{   
url \{ \#要坚持的URL，可以有多个  
path / \#具体路径  
digest <STRING>   
status\_code 200 \#返回状态码  
\}  
connect\_port 80 \#监控检查的端口  
  
bindto <IPADD> \#健康检查的IP地址  
connect\_timeout 3 \#连接超时时间  
nb\_get\_retry 3 \#重连次数  
delay\_before\_retry 2 \#重连间隔  
\} \# END OF HTTP\_GET|SSL\_GET  
  
  
\#下面是常用的健康检查方式，健康检查方式一共有HTTP\_GET|SSL\_GET|TCP\_CHECK|SMTP\_CHECK|MISC\_CHECK这些  
\#TCP方式  
TCP\_CHECK \{   
connect\_port 80  
bindto 192.168.1.1  
connect\_timeout 4  
\} \# TCP\_CHECK  
  
\# SMTP方式 ，这个可以用来给邮件服务器做集群  
SMTP\_CHECK  
host \{   
connect\_ip <IP ADDRESS>  
connect\_port <PORT> \#默认检查25端口  
14 KEEPALIVED  
bindto <IP ADDRESS>  
\}  
connect\_timeout <INTEGER>  
retry <INTEGER>  
delay\_before\_retry <INTEGER>  
\# "smtp HELO"ž|·-ëê§Œà"  
helo\_name <STRING>|<QUOTED-STRING>  
\} \#SMTP\_CHECK  
  
\#MISC方式 ，这个可以用来检查很多服务器只需要自己会些脚本即可  
MISC\_CHECK  
\{   
misc\_path <STRING>|<QUOTED-STRING> \#外部程序或脚本  
misc\_timeout <INT> \#脚本或程序执行超时时间  
  
misc\_dynamic \#这个就很好用了，可以非常精确的来调整权重，是后端每天服务器的压力都能均衡调配，这个主要是通过执行的程序或脚本返回的状态代码来动态调整weight值，使权重根据真实的后端压力来适当调整，不过这需要有过硬的脚本功夫才行哦  
\#返回0：健康检查没问题，不修改权重  
\#返回1：健康检查失败，权重设置为0  
\#返回2-255：健康检查没问题，但是权重却要根据返回代码修改为 返回码-2 ，例如如果程序或脚本执行后返回的代码为200，\#那么权重这回被修改为 200-2  
\}  
\} \# Realserver  
\} \# Virtual Server  
  
配置文件到此就讲完了，下面是一份未加备注的完整配置文件

> 1.  global\_defs  
>     
> 2.  \{  
>     
> 3.  notification\_email  
>     
> 4.  \{  
>     
> 5.  admin@example.com  
>     
> 6.  \}  
>     
> 7.  notification\_email\_from admin@example.com  
>     
> 8.  smtp\_server 127.0.0.1  
>     
> 9.  stmp\_connect\_timeout 30  
>     
> 10. router\_id node1  
>     
> 11. \}  
>     
> 12. notification\_email  
>     
> 13. \{  
>     
> 14. admin@example.com  
>     
> 15. admin@ywlm.net  
>     
> 16. \}  
>     
> 17.   
>     
> 18. static\_ipaddress  
>     
> 19. \{  
>     
> 20. 192.168.1.1/24 brd + dev eth0 scope global  
>     
> 21. 192.168.1.2/24 brd + dev eth1 scope global  
>     
> 22. \}  
>     
> 23. static\_routes  
>     
> 24. \{  
>     
> 25. src $SRC\_IP to $DST\_IP dev $SRC\_DEVICE  
>     
> 26. src $SRC\_IP to $DST\_IP via $GW dev $SRC\_DEVICE  
>     
> 27. \}  
>     
> 28.   
>     
> 29. vrrp\_sync\_group VG\_1 \{  
>     
> 30. group \{  
>     
> 31. http  
>     
> 32. mysql  
>     
> 33. \}  
>     
> 34. notify\_master /path/to/to\_master.sh  
>     
> 35. notify\_backup /path\_to/to\_backup.sh  
>     
> 36. notify\_fault "/path/fault.sh VG\_1"  
>     
> 37. notify /path/to/notify.sh  
>     
> 38. smtp\_alert  
>     
> 39. \}  
>     
> 40. group \{  
>     
> 41. http  
>     
> 42. mysql  
>     
> 43. \}  
>     
> 44.   
>     
> 45.   
>     
> 46. vrrp\_script check\_running \{  
>     
> 47. script "/usr/local/bin/check\_running"  
>     
> 48. interval 10  
>     
> 49. weight 10  
>     
> 50. \}  
>     
> 51.   
>     
> 52.   
>     
> 53. vrrp\_instance http \{  
>     
> 54. state MASTER  
>     
> 55. interface eth0  
>     
> 56. dont\_track\_primary  
>     
> 57. track\_interface \{  
>     
> 58. eth0  
>     
> 59. eth1  
>     
> 60. \}  
>     
> 61. mcast\_src\_ip <IPADDR>  
>     
> 62. garp\_master\_delay 10  
>     
> 63. virtual\_router\_id 51  
>     
> 64. priority 100  
>     
> 65. advert\_int 1  
>     
> 66. authentication \{  
>     
> 67. auth\_type PASS  
>     
> 68. autp\_pass 1234  
>     
> 69. \}  
>     
> 70. virtual\_ipaddress \{  
>     
> 71. \#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>  
>     
> 72. 192.168.200.17/24 dev eth1  
>     
> 73. 192.168.200.18/24 dev eth2 label eth2:1  
>     
> 74. \}  
>     
> 75. virtual\_routes \{  
>     
> 76. \# src <IPADDR> \[to\] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab  
>     
> 77. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1  
>     
> 78. 192.168.110.0/24 via 192.168.200.254 dev eth1  
>     
> 79. 192.168.111.0/24 dev eth2  
>     
> 80. 192.168.112.0/24 via 192.168.100.254  
>     
> 81. \}  
>     
> 82. track\_script \{  
>     
> 83. check\_running weight 20  
>     
> 84. \}  
>     
> 85.   
>     
> 86. nopreempt  
>     
> 87. preemtp\_delay 300  
>     
> 88. debug  
>     
> 89. \}  
>     
> 90.   
>     
> 91. virtual\_server\_group <STRING> \{  
>     
> 92. \# VIP port  
>     
> 93. <IPADDR> <PORT>  
>     
> 94. <IPADDR> <PORT>  
>     
> 95. fwmark <INT>  
>     
> 96. \}  
>     
> 97.   
>     
> 98. virtual\_server 192.168.1.2 80 \{  
>     
> 99. delay\_loop 3  
>     
> 100.   
>     
> 101. lb\_algo rr|wrr|lc|wlc|lblc|sh|dh  
>     
> 102. lb\_kind NAT|DR|TUN  
>     
> 103. persistence\_timeout 120  
>     
> 104. persistence\_granularity <NETMASK>  
>     
> 105. protocol TCP  
>     
> 106. ha\_suspend  
>     
> 107. virtualhost <string>  
>     
> 108.   
>     
> 109. sorry\_server <IPADDR> <PORT>  
>     
> 110.   
>     
> 111. real\_server <IPADDR> <PORT>  
>     
> 112. \{  
>     
> 113. weight 1  
>     
> 114. inhibit\_on\_failure  
>     
> 115. notify\_up <STRING> | <QUOTED-STRING>  
>     
> 116. notify\_down <STRING> | <QUOTED-STRING>  
>     
> 117.   
>     
> 118. \#HTTP\_GET方式  
>     
> 119. HTTP\_GET | SSL\_GET  
>     
> 120. \{  
>     
> 121. url \{  
>     
> 122. path /  
>     
> 123. digest <STRING>  
>     
> 124. status\_code 200  
>     
> 125. \}  
>     
> 126. connect\_port 80  
>     
> 127.   
>     
> 128. bindto <IPADD>  
>     
> 129. connect\_timeout 3  
>     
> 130. nb\_get\_retry 3  
>     
> 131. delay\_before\_retry 2  
>     
> 132. \}  
>     
> 133. \}  
>     
> 134. \}
> 
> 复制代码

注意，这里仅仅是罗列，并不是可用的配置文件。里面需要根据自己的时间情况稍加配置才能用  
在下面我会根据实际的需求给出我平时的配置案例，在二楼三楼四楼分别给出三个案例

[http_bbs.ywlm.net_thread-790-1-1.html]: http://bbs.nanjimao.com/thread-790-1-1.html
[114758vj2ob2p2hxvpdxvb.png.thumb.jpg]: http://bbs.nanjimao.com/data/attachment/forum/201109/07/114758vj2ob2p2hxvpdxvb.png.thumb.jpg
[admin_example.com]: mailto:admin@example.com