keepalive 配合mysql主主复制

川长思鸟来 2022-09-27 06:30 158阅读 0赞

mysql高可用

高可用性需要解决的两个问题：

1.  如何实现数据共享或者同步数据。

2.如何处理failover。failover的意思是指当服务器死机或出现错误时，可以自动切换到其他备用服务器，不影响线上业务

数据共享一般的解决方案是SAN。数据同步可以通过rsync和DRBD实现

1.主从复制解决方案

这是mysql自身提供的一种高可用解决方案，数据同步方法采用的是mysql replication技术。

mysql replication技术。就是一个日志复制的过程。简单来说，就是从服务器到主服务器拉取二进制日志文件，然后将日志文件解析成对应的sql在从服务器上重新执行一遍主服务器的操作，通过这种方式保持数据一致性

2.MMM高可用解决方案

MMM（mysql主主复制管理器，提供了mysql主主复制配置的监控，故障转移和管理的一套可伸缩的脚本套件）。典型的应用是双主多从架构。通过mysql replication技术可以实现两台服务器互为主从，且在任何时候只有一个节点可以写入，避免多点写入的数据冲突。同时，当可写的主节点故障时，MMM套件可以立刻监控到，然后将服务切换到另一个主节点继续提供服务，从而实现mysql高可用

3.hearbeat/SAN高可用解决方案

通过第三方软硬件监控和管理各个节点链接的网络并监控集群服务，当节点出现故障或服务不可用时，自动在其他节点启动集群服务

数据共享方面通过SAN存储共享。但是成本较高，存在脑裂可能。这种方案可以实现99.990%的SLA（服务水平协定）

4.hearbeat/DRBD高可用解决方案

和第三个方案不同的是，他的数据共享采用的是DRBD（分布式块设备复制）。这种方案实现稍微复杂，存在脑裂，可以实现99.900%的SLA

5.MYSQL cluster高可用解决方案

mysql cluster 由一组服务节点构成，每个节点运行多种紧张，包括mysql服务器，NDB cluster的数据节点，管理服务器，以及可能专门的数据访问程序。此方案由mysql官方主推。功能强大，但实现复杂，配置繁琐，企业应用不多。可以实现99.999%d的SLA

keepalive安装(配合mysql主主复制)

系统:centos5.5\_64

\#vip为程序读取mysql的IP，应和程序服务器的网卡一个网段

主库实际IP   192.168.10.48

从库实际IP   192.168.10.49

虚拟VIP     192.168.10.50   \#该IP供程序连接使用

【一】、keepalived安装步骤，这里建议使用keepalived-1.1.17，不可使用过高版本

wget http://www.keepalived.org/software/keepalived-1.1.17.tar.gz

tar zxvpf keepalived-1.1.17.tar.gz

cd keepalived-1.1.17

./configure

\#不使用lvs只需要Use VRRP Framework为Yes

make

make install

\#拷贝配置文件并创建配置问文件目录

cp /usr/local/etc/rc.d/init.d/keepalived /etc/init.d/

\#suse使用keepalived.suse.init启动脚本覆盖/etc/init.d/keepalived

cp /usr/local/sbin/keepalived /usr/sbin/

cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

mkdir /etc/keepalived

【二】、定义配置文件

vim /etc/keepalived/keepalived.conf   \#（见下面文件详细配置）

\#启动服务

/etc/init.d/keepalived start

\#启动后加载配置文件(一般无需该操作，只有在更新了配置之后重新加载时使用)

/usr/sbin/keepalived -f /etc/keepalived/keepalived.conf

\#如下是keepalived.conf配置文件内容，因为我们的需求是主主热备，无需其他功能，故主从的配置文件一致即可

\#在同一局域网内，两组keepalived两参数 router\_id 和 virtual\_router\_id 不可以一致

\#主从库需要区别修改的三处如下：

\# state 初始状态值，主库对应参数为 MASTER 从库对应的参数为 BACKUP

\# priority 主库的优先级参数为150 从库的优先级参数为 100  注意这里的参数，从库的优先级一定要低于主库

\# virtual\_ipaddress 定义虚拟VIP地址以及绑定的网卡参数

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#keepalived.conf配置内容\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

! Configuration File for keepalived

global\_defs \{

router\_id mysql     \#keepalive主机标识，这里的标识很重要，影响到主从库之间的keepalived通讯

vrrp\_script check\_run \{

script "/etc/keepalived/check\_mysql.sh"    \#服务器检查脚本，主要检查mysql是否可以正常访问

interval 3                                 \#服务检查周期，单位：秒

vrrp\_sync\_group VG1 \{

group \{

VI\_1    \#服务组名，多个时候一个出错就切换

notify\_master  /etc/keepalived/takeover.sh    \#状态切换为从库接管时执行该脚本，即主库宕机时，从库接管

notify\_backup  /etc/keepalived/recovery.sh    \#状态切换为主库接管时执行该脚本，即主库恢复时，从库归还

vrrp\_instance VI\_1 \{

state BACKUP           \#初始状态,都设置为BACKUP,配合不抢占参数

interface eth1         \#实例绑定网卡

virtual\_router\_id 11   \#VRID标识0-255

priority 150           \#主库的高优先级竞选为MASTER，从库的优先级要低于主库，故需要设置为100

advert\_int 1           \#检查时间，单位：秒

nopreempt              \#不抢占,只能设置在BACKUP上

authentication \{

\#验证方式

auth\_type PASS

auth\_pass 1qaz@WSX

track\_script \{

check\_run          \#定义程序的检查方法，调用脚本

virtual\_ipaddress \{

\#VIP

10.10.20.205 dev eth1 label eth1:1

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#end\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

【三】、注意事项

1、无论主从服务器mysql都要优先keepalived启动，所以mysql开机启动权值应高于keepalived

2、将启动脚本加入系统服务启动项，需在脚本加入如下一段内容,位置放到\`\#!/bin/sh\`下即可，注意前面的\`\#\`号需要添加

\`\# chkconfig: 2345 90 80 \`

\#解释如下：

\# chkconfig   系统命令通过该命令获取参数

\# 2345        启动顺序

\# 20          开机启动优先权  故mysql的启动优先权一定要高于keepalived优先权，建议将mysql设置为15 ,keepalived设置为80

\# 80          关机停止优先权  故mysql的停止优先权一定要高于keepalived优先权，建议将mysql设置为60 ,keepalived设置为80

3、添加启动

chkconfig --add keepalived

chkconfig --level 35 keepalived on

4、如果需要主从两台服务器关机维护时，如迁移机房，应先关闭从库服务器上的mysql和keepalived，再关闭主库的服务，避免因为先关闭主库而导致从库接管服务

【四】、需要配合的检查脚本及报警脚本如下

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

\#!/bin/bash

\#脚本位置：/etc/keepalived/check\_mysql.sh

\#脚本作用：mysql状态检测脚本

mysql -urepl -p"repl"  -h127.0.0.1 -P3306 -e "show status;" >/dev/null 2>&1

if \[ "$?" -ne 0 \];then

/etc/init.d/keepalived stop

\#脚本结束

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

chmod 700 /etc/keepalived/check\_mysql.sh

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

\#!/bin/sh

\#脚本位置：/etc/keepalived/takeover.sh

\#脚本作用：接管服务报警脚本

\#报警短信手机号

Phonenumber=13811080724

LANG="zh\_CN.GBK"

export LANG

IP=\`/sbin/ifconfig|awk -v RS="Bcast:" '\{print $NF\}'|awk -F: '/addr/\{print $2\}'|awk '\{printf"%s\_",$0\}' | sed 's/\_$//'\`

node=\`ls /data1/\*mysql5\*/data/\*\_mysql5\_\*\_\[0-9\]\[0-9\]\*|awk -F "/" '\{print $NF\}'|awk -F"\_" '\{print $1\}'\`

case $node in

master)

\#报警信息

SMS="$\{node\}库\`hostname\`已恢复服务\_$\{IP\}\_\`date +%Y%m%d\_%R\`"

\#邮件报警

echo $SMS | /bin/mail -s "keepalived恢复通知" mis@pearlinpalm.com

\#短信报警

java -cp "/root/sh" SmsDelegate $Phonenumber "$SMS"

;;

slave)

\#备用节点接管后，停止数据库备份

sed -i  's/\$.\*\$dbbackup\\.sh\$.\*\$/\#\\1dbbackup\\.sh\\2/' /var/spool/cron/root

\#报警信息

SMS="$\{node\}库\`hostname\`已接管服务\_$\{IP\}\_\`date +%Y%m%d\_%R\`"

\#邮件报警

echo $SMS | /bin/mail -s "keepalived接管通知" mis@pearlinpalm.com

\#短信报警

java -cp "/root/sh" SmsDelegate $Phonenumber "$SMS"

;;

esac

\#记录日志

echo $SMS >> /etc/keepalived/keepalived.log

\#脚本结束

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

chmod 700 /etc/keepalived/takeover.sh

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

\#!/bin/sh

\#脚本位置：/etc/keepalived/recovery.sh

\#脚本作用：关闭服务通知脚本

Phonenumber=15801177843

LANG="zh\_CN.GBK"

export LANG

IP=\`/sbin/ifconfig|awk -v RS="Bcast:" '\{print $NF\}'|awk -F: '/addr/\{print $2\}'|awk '\{printf"%s\_",$0\}' | sed 's/\_$//'\`

node=\`ls /data1/\*mysql5\*/data/\*\_mysql5\_\*\_\[0-9\]\[0-9\]\*|awk -F "/" '\{print $NF\}'|awk -F"\_" '\{print $1\}'\`

case $node in

master)

SMS="$\{node\}库\`hostname\`已等待接管\_$\{IP\}\_\`date +%Y%m%d\_%R\`"

;;

slave)

SMS="$\{node\}库\`hostname\`已等待接管\_$\{IP\}\_\`date +%Y%m%d\_%R\`"

\#主节点恢复后，启动数据库备份

sed -i  's/\#\$.\*\$dbbackup\\.sh\$.\*\$/\\1dbbackup\\.sh\\2/' /var/spool/cron/root

;;

esac

\#记录日志

echo $SMS >> /etc/keepalived/keepalived.log

\#脚本结束

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

chmod 700 /etc/keepalived/recovery.sh

【五】、测试结果

1、首先需要保证mysql和keepalived都正常启动，且mysql优先启动于keepalived.可以ifconfig查看到主库的虚拟VIP网卡，从库是正常网卡

2、将主库服务器电源直接断电，从库自动接管，时间预计2秒钟左右.从库将自动启动虚拟VIP网卡，并接管成功，访问数据库正常。在接管的同时从库会发出报警告知。

3、重新启动主库,待主库正常启动，从库将自动归还，这时从库的虚拟VIP将消失，主库的虚拟VIP加载。同时从库在归还的同时将发出报警告知。

4、如果结果vip不生效,从接管VIP后主动刷新arp:  /sbin/arping -I em1 -c 10 -s vip gateway&>/dev/null

配置keepalive实现mysql双主高可用

1.安装keepalive

2。配置keepalive

global\_defs \{

notification\_email \{

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

router\_idmysql\_ha

vrrp\_script check\_mysqld \{

script"/etc/keepalived/mysqlcheck/keepalived\_check\_mysql.sh "

interval 2

vrrp\_instance HA\_1 \{

state BACKUP

interface eth0

virtual\_router\_id 51

priority 100

advert\_int 1

nopreempt

authentication\{

auth\_typePASS

auth\_pass1111

track\_script \{

check\_mysqld

virtual\_ipaddress \{

192.168.32.100/24 dev eth0

两个keepalive的state都设置为BACKUP

检查mysql脚本keepalived\_check\_mysql.sh

\#!/bin/bash

MYSQL=/usr/bin/mysql

MYSQL\_HOST=localhost

MYSQL\_USER=root

MYSQL\_PASSWORD=www.123

CHECK\_TIME=3

\#mysql  is workingMYSQL\_OK is 1 , mysql down MYSQL\_OK is 0

MYSQL\_OK=1

function check\_mysql\_helth ()\{

$MYSQL -h $MYSQL\_HOST -u $MYSQL\_USER -p$\{MYSQL\_PASSWORD\}-e "show status;" >/dev/null 2>&1

if \[ $? = 0 \] ;then

MYSQL\_OK=1

else

MYSQL\_OK=0

return $MYSQL\_OK

while \[ $CHECK\_TIME -ne 0 \]

let "CHECK\_TIME -= 1"

check\_mysql\_helth

if \[ $MYSQL\_OK = 1 \] ; then

CHECK\_TIME=0

exit 0

if \[ $MYSQL\_OK -eq 0 \] &&  \[ $CHECK\_TIME -eq 0 \]

then

/etc/init.d/keepalived stop

exit 1

sleep 1

done

/etc/init.d/keepalived start

测试高可用：关掉DB1的mysql时.他的vip会飘到DB2

测试mysql主从同步功能

1.在远程客户端通过vip登录测试

2.数据复制功能测试

在DB1中创建了一个数据库。在DB2查看是否有这个数据库

一、在主mysql上安装配置keepalive

\[root@master ~\]\# bash keepalive\_install.sh

![wKiom1VcUVix6gI6AAMDYWrXRzw071.jpg][]

“脚本”内容如下：

\[root@master ~\]\# cat keepalive\_install.sh

\#!/bin/bash

yum -y  install kernel-devel openssl-devel  popt-devel &&

wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz &&

tar -zxf keepalived-1.1.15.tar.gz &&

cd keepalived-1.1.15 &&

./configure--with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86\_64/ &&

make && make install &&

DIR=/usr/local/

cp $DIR/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/  &&

cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/&& mkdir -p /etc/keepalived &&

cp $DIR/sbin/keepalived/usr/sbin/&&

cp/usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ &&

/etc/init.d/keepalived restart

if \[ $? -eq 0 \];then

echo -e '\\e\[32mInstall Keepalive Successfully!\\e\[0m'

else

echo -e '\\e\[31mInstall Keepalive Failure!\\e\[0m'

加载ip\_vs的内核模块

\[root@master ~\]\# modprobe ip\_vs

\[root@master~\]\# modprobe ip\_vs\_wrr

\[root@master~\]\# modprobe ip\_vs\_rr

修改keepalived.conf配置文件如下：

\[root@master ~\]\# vim /etc/keepalived/keepalived.conf

\[root@master ~\]\# cat/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global\_defs \{

notification\_email \{

654001593@qq.com

notification\_email\_from root@localhost.com

smtp\_server 127.0.0.1

smtp\_connect\_timeout 30

router\_id LVS\_DEVEL

vrrp\_instance VI\_1 \{

state MASTER

interface eth0

virtual\_router\_id 51

priority 100

advert\_int 1

authentication \{

auth\_type PASS

auth\_pass 1111

virtual\_ipaddress \{

192.168.1.77

virtual\_server 192.168.1.77 3306 \{

delay\_loop 6

lb\_algo wrr

lb\_kind DR

persistence\_timeout 50

protocol TCP

real\_server 192.168.1.3 3306 \{

weight 1

notify\_down/data/sh/ keepalive\_stop.sh

TCP\_CHECK \{

connect\_timeout 3

nb\_get\_retry 3

delay\_before\_retry 3

connect\_port 3306

\[root@master ~\]\# mkdir -p /data/sh

\[root@master ~\]\# vim/data/sh/keepalive\_stop.sh

\[root@master ~\]\# chmod +x /data/sh/keepalive\_stop.sh

\[root@master ~\]\# /etc/init.d/keepalivedreload

Reloading keepalived:                                      \[  OK  \]

\[root@master ~\]\# cat/data/sh/keepalive\_stop.sh

\#!/bin/bash

/etc/init.d/keepalived stop

\[root@master ~\]\#

二、在从mysql上安装配置keepalive

\[root@slave ~\]\# bash keepalive\_install.sh

wKiom1VcUViQFeiwAAMAvbyK6dM432.jpg

“脚本”内容如下，同master上执行的脚本一致(非严格意义上的脚本，安装命令放一起而已)。

\[root@slave ~\]\# cat keepalive\_install.sh

\#!/bin/bash

yum -y install  kernel-developenssl-devel  popt-devel &&

wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz&&

tar -zxf keepalived-1.1.15.tar.gz &&

cd keepalived-1.1.15 &&

./configure--with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86\_64/ &&

make && make install &&

DIR=/usr/local/

cp $DIR/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/  &&

cp $DIR/etc/sysconfig/keepalived/etc/sysconfig/ && mkdir -p /etc/keepalived &&

cp $DIR/sbin/keepalived/usr/sbin/&&

cp/usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ &&

/etc/init.d/keepalived restart

if \[ $? -eq 0 \];then

echo -e '\\e\[32mInstall Keepalive Successfully!\\e\[0m'

else

echo -e '\\e\[31mInstall Keepalive Failure!\\e\[0m'

\[root@slave ~\]\#

加载ip\_vs的内核模块

\[root@master ~\]\# modprobe ip\_vs

\[root@master ~\]\# modprobe ip\_vs\_wrr

\[root@master ~\]\# modprobe ip\_vs\_rr

修改keepalived.conf配置文件如下

\[root@slave ~\]\# vim/etc/keepalived/keepalived.conf

\[root@slave ~\]\# cat/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global\_defs \{

notification\_email \{

654001593@qq.com

notification\_email\_from root@localhost.com

smtp\_server 127.0.0.1

smtp\_connect\_timeout 30

router\_id LVS\_DEVEL

vrrp\_instance VI\_1 \{

state BACKUP    !此处同master不一样

interface eth0

virtual\_router\_id 51

priority 90     !优先级比master上低

advert\_int 1

authentication\{

auth\_type PASS

auth\_pass 1111

virtual\_ipaddress \{

192.168.1.77

virtual\_server 192.168.1.77 3306 \{

delay\_loop 6

lb\_algo wrr

lb\_kind DR

nat\_mask 255.255.255.0

persistence\_timeout 50

protocol TCP

real\_server 192.168.1.4 3306 \{ !Slave上的IP

weight 1

notify\_down/data/sh/keepalive\_stop.sh

TCP\_CHECK \{

connect\_timeout 3

nb\_get\_retry 3

delay\_before\_retry 3

connect\_port 3306

\[root@slave ~\]\#

root@slave ~\]\# mkdir -p /data/sh

\[root@slave ~\]\# vim/data/sh/keepalive\_stop.sh

\[root@slave ~\]\# chmod +x/data/sh/keepalive\_stop.sh

\[root@slave ~\]\# /etc/init.d/keepalivedreload

Reloading keepalived:                                      \[  OK  \]

\[root@slave ~\]\# cat/data/sh/keepalive\_stop.sh

\#!/bin/bash

/etc/init.d/keepalived stop

\[root@slave ~\]\#

keepalived有三类配置区域,注意不是三种配置文件，是一个配置文件里面三种不同类别的配置区域，全局配置(Global Configuration)、VRRPD配置、LVS配置

! Configuration File for keepalived

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#全局配置\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

global\_defs \{

notification\_email \{          \#指定keepalived在发生切换时需要发送email到的对象，一行一个

654001593@qq.com

notification\_email\_from 654001593@qq.com \#指定发件人

smtp\_server 192.168.200.1     \#指定smtp服务器地址

smtp\_connect\_timeout 30       \#指定smtp连接超时时间

router\_id LVS\_DEVEL           \#运行keepalived机器的一个标识

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#VRRP配置\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

\#VRRP实例定义块

vrrp\_instance VI\_1 \{

state MASTER             \#指定那个为master，那个为backup，如果设置了nopreempt这个值不起作用，主备靠priority决定

interface eth0           \#设置实例绑定的网卡

virtual\_router\_id 51     \#VPID标记 ,路由ID，可通过\#tcpdump vrrp查看

priority 100             \#优先级，高优先级竞选为master

advert\_int 1             \#检查间隔，默认1秒

nopreempt                \#非抢占(因为默认如果master挂的时候，backup会顶上，当master再好的时候，会再切回去，这样就会造成两次断开，加上nopreempt的时候，即使master又好了，依旧不会切换，但是要注意两个state 都要是backup）

authentication \{         \#设置认证

auth\_type PASS       \#认证方式

auth\_pass 1111       \#认证密码

virtual\_ipaddress \{      \#设置vip

192.168.200.16

192.168.200.17

192.168.200.18

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#LVS配置\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

\#虚拟服务器定义块

virtual\_server 192.168.200.100 443 \{        \#VIP 端口

delay\_loop 6                            \#健康检查时间间隔

lb\_algo rr                              \#lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh

lb\_kind NAT                             \#负载均衡转发规则NAT|DR|TUN

nat\_mask 255.255.255.0                  \#nat 掩码

persistence\_timeout 50                  \#会话保持时间

protocol TCP\#使用的协议

sorry\_server<IPADDR> <port>                 \#备用机，所有realserver失效后启用

real\_server 192.168.201.100 443 \{       \#RIP 端口

weight 1                            \#默认为1,0为失效

inhibit\_on\_failure                          \#在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除

notify\_up   脚本(绝对路径)                  \#在检测到server up后执行脚本

notify\_down 脚本(绝对路径)                  \#在检测到server down后执行脚本

SSL\_GET \{

url \{

path /

digest ff20ad2481f97b1754ef3e12ecd3a9cc     \#检查url，可以指定多个

status\_code 200                                     \#检查的返回状态码

url \{

path /mrtg/

digest 9b3a0c85a887a256d6939da88aabd8cd

connect\_timeout 3                             \#连接超时时间

nb\_get\_retry 3                                \#重连次数

delay\_before\_retry 3                          \#重连间隔时间

connect\_port 23                                       \#健康检查的端口的端口

一、概述：  
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。  
  
  
虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。  
  
  
keepalived主要有三个模块，分别是core、check和vrrp。  
  
core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。  
  
check负责健康检查，包括常见的各种检查方式。  
  
vrrp模块是来实现VRRP协议的。  
  
  
   
实验思路：  
本节主要介绍了利用keepalived实现 MySQL 数据库的高可用。Keepalived+mysql双主来实现MySQL-HA，我们必须保证两台MySQL数据库的数据完全一样，基本思路是两台MySQL互为主从关系，通过Keepalived配置虚拟IP，实现当其中的一台MySQL数据库宕机后，应用能够自动切换到另外一台MySQL数据库，保证系统的高可用。  
   
实验环境：  
操作系统：CentOS 7 x86\_64  
MySQL版本：mysql 5.7.13  
Keepalived版本：keepalived-1.2.20  
Mysql-vip地址:192.168.1.100  
Mysql-master1地址:192.168.1.101  
Mysql-master2地址:192.168.1.102  
  
  
  
  
二、搭建MySQL双主同步环境：  
   
（1）准备工作  
  
1、配置IP地址  
master1地址为192.168.1.101；  
  
master2地址为192.168.1.102。  
  
2、设置master1和master2的防火墙规则  
  
  
\[root@master1 ~\]\# firewall-cmd --permanent --add-port=3306/tcp  
  
\[root@master1 ~\]\# firewall-cmd --reload  
  
（2）修改mysql配置文件  
  
1、在master1上设置：  
  
  
\[root@master1 ~\]\# vim /etc/my.cnf  
log-bin = mysql-bin  
binlog\_format = mixed  
server\_id = 1  
relay-log = relay-bin  
relay-log-index = slave-relay-bin.index  
auto-increment-increment = 2  
auto-increment-offset = 1  
重启mysql服务：  
  
  
\[root@master2 ~\]\# systemctl restart mysqld  
  
2、在master2上设置  
  
  
\[root@master2~\]\# vim /etc/my.cnf  
  
log-bin = mysql-bin  
binlog\_format = mixed  
server\_id = 2  
relay-log = relay-bin  
relay-log-index = slave-relay-bin.index  
auto-increment-increment = 2  
auto-increment-offset = 2  
重启mysql服务  
  
  
\[root@master2 ~\]\# systemctl restart mysqld  
  
<-注1->各个参数的解释：  
log-bin                  //启用二进制日志功能  
binlog\_format            //设置binlog日志格式  
Server-id                //给服务器分配一个独一无二的ID编号  
relay-log                //配置中继日志  
relay-log-index          //配置中继日志名  
  
auto-increment-increment     //设置自增长字段每次递增的值  
  
auto-increment-offset        //用来设定数据库中自动增长的起点（即起点值）  
  
<-注2->可以在my.cnf文件中添加“binlog\_do\_db=数据库名”的配置项（可以添加多个）来指定要同步的数据库。  
  
（3）将master1设置为master2的主服务器  
1、在master1主机上创建授权账户，允许在master2（192.168.1.102）主机上连接  
  
  
\[root@master1 ~\]\# mysql -uroot -p  
mysql> grant replication slave on \*.\* to 'rep'@'192.168.1.102' identified by '123456';  
查看master1的当前binlog状态信息  
  
![wKioL1jYqLqCv4kMAATKZX6O74A934.png][]  
2、在master2上将master1设为自己的主服务器并开启slave功能  
  
  
mysql> change master to master\_host='192.168.1.101',master\_user='rep',master\_password='123456',master\_log\_file='mysql-bin.000001',master\_log\_pos=453;  
mysql> start slave;  
  
![wKiom1jYqMCxC-HtAAujrITaQCg789.png][]  
<-注->如果你是使用虚拟机并且两台master是克隆的，那么Slave\_IO Running的值可能为NO，解决方法：修改master任意主机/usr/local/mysql/data/auto.cnf文件server-uuid后面的值，确保两台主机的uuid不一样。  
  
（4）将master2设为master1的主服务器  
  
1、在master2主机上创建授权账号，允许在master1（192.168.1.101）主机上连接  
  
  
mysql> grant replication slave on \*.\* to 'rep'@'192.168.1.101' identified by '123456';  
查看master2的当前binlog状态信息  
  
![wKiom1jYqMKhY6HRAATIoV6WF3Y593.png][]  
2、在master1上将master2设为自己的主服务器并开启slave功能。  
  
  
mysql> change master to master\_host='192.168.1.102',master\_user='rep',master\_password='123456',master\_log\_file='mysql-bin.000002',master\_log\_pos=453;  
mysql> start slave;  
查看从（master1）的状态  
![wKioL1jYqMfjElZYAApN3Tad6tM957.png][]  
  
（5）测试主主同步  
1、在master1上创建要同步的数据库如test\_db，并在test\_db中创建一张测试表如tab1  
  
  
mysql> create database test\_db;  
mysql> use test\_db;  
mysql> create table tab1(id int,name varchar(30));  
查看master2主机是否同步了master1的数据变化  
  
![wKioL1jYqM6zOj2AAA80A1FZVwo327.png][]  
2、在master2主机上想tab1表中插入数据  
  
  
mysql> insert into test\_db.tab1(id,name) values (1,'zhangsan');  
mysql> commit;  
查看master1主机是否同步了master2上的数据变化  
![wKiom1jYqNDDaNyeAATQaYMScyA475.png][]  
  
现在任何一台MySQL上的数据都会同步到另一台MySQL，主主同步环境搭建完成。  
<-注意事项->：如果MySQL服务器已经存在，只是后期才搭建从服务器，在配置数据同步前应先将主MySQL服务器要同步的数据拷贝到从MySQL服务器（例如先备份主MySQL的数据库，然后到从服务器上还原）  
   
三、利用keepalived实现MySQL的高可用性  
（1）在master1和master2上安装keepalived软件包  
1、首先安装kernel-devel以及openssl-devel、popt-devel等支持库。  
  
  
\[root@master1 ~\]\# yum -y install kernel-devel openssl-devel popt-devel  
  
2、编译安装keepalived  
  
\[root@master1 keepalived-1.2.20\]\# cd keepalived-1.2.20/  
\[root@master1 keepalived-1.2.20\]\# tar zxf keepalived-1.2.20.tar.gz   
\[root@master1 keepalived-1.2.20\]\# ./configure --prefix=/ && make && make install  
<-注->：如不知道keepalived需要哪些依赖包，可以进解压后的源码包目录下查看INSTALL文件内容。  
3、使用keepalived服务  
编译完成后，会自动生成/etc/init.d/keepalived脚本，但是还需要手动添加为系统服务，这样才可以使用service、chkconfig工具来对keepalived服务程序进行管理。  
![wKiom1jYqNHjnlyLAAMIMNjDCGk055.png][]  
  
4、在centos7.2上安装keepalieved防火墙的配置规则  
  
  
\[root@master1 ~\]\# firewall-cmd --permanent --add-rich-rule="rule family=ipv4 destination address=224.0.0.18 protocol value=ip accept"  
\[root@master1 ~\]\# firewall-cmd --reload  
<--注！以上所有操作在master2上也要执行一遍-->  
   
（2）修改keepalived的配置文件  
Keepalived只有一个配置文件keepalived.conf，里面包括以下几个配置项  
global\_defs：主要是配置故障发生时的通知对象及机器标识。  
vrrp\_instance：用来定义对外提供服务的VIP区域及相关属性  
virtual\_server：虚拟服务器定义  
  
  
1、在master1主机的keepalived.conf文件的修改：  
  
\[root@master1 ~\]\# vim /etc/keepalived/keepalived.conf  
  
global\_defs区域  
  
![wKioL1jYqNWC6dN6AAjN2LBBZDc239.png][]  
  
vrrp\_instance区域  
![wKiom1jYqNuRBqFeAAw7YFEgLEQ954.png][]  
virtua\_server区域  
![wKioL1jYqOTifobbAA2WDrWFuRQ620.png][]  
  
启动keepalived服务  
  
  
\[root@master1 ~\]\# /etc/init.d/keepalived start  
  
2、在master2主机上对keepalived.conf文件进行修改

![wKioL1jYqOWQ9HUfAADpdUygfxQ872.png][]  
  
Master2主机的keepalived.conf配置文件 除了router\_id、priority和real\_server三处不同，其他配置项都相同。  
启动keepalived服务  
  
  
\[root@master2 ~\]\# /etc/init.d/keepalived start  
  
（3）为master1和master2添加检测脚本  
  
当mysql停止工作时自动关闭本机的keepalived，实现将故障机器踢出（因为每台机器上keepalived只添加了本机为realserver）；当mysql正常启动起来后，要手动启动keepalived服务。  
  
  
\[root@master1 ~\]\# mkdir /etc/keepalived/bin  
\[root@master1 ~\]\#  vim /etc/keepalived/bin/mysql.sh  
  
\#!/bin/bash  
pkill keepalived  
/sbin/ifdown eno16777736 && /sbin/ifup eno16777736  
\[root@master1 ~\]\# chmod +x /etc/keepalived/bin/mysql.sh  
  
在master2上完成相同的操作  
  
（4）测试  
1、在master1和master2上分别查看master1和master2对VIP（群集虚拟IP）的控制权  
在master1主上查看结结果：  
 ![wKiom1jYqOjByxUPAAdSplrmOoQ709.png][]  
在master2主上查看结果：  
  
![wKioL1jYqOvDQHjRAAYuJSs20Y8552.png][]  
从上图可以看出master1是主服务器，master2为备用服务器  
  
2、测试停止MySQL服务，keepalived健康检查是否会触发脚本  
  
停止master1主机的MySQL服务  
  
\[root@master1 ~\]\# systemctl stop mysqld  
  
查看master1主结果：  
![wKiom1jYqO2Sa\_QSAAXXdNYQskw944.png][wKiom1jYqO2Sa_QSAAXXdNYQskw944.png]  
  
Master2主的查看结果：  
![wKioL1jYqPHQirWSAAepV2NUchU499.png][]  
  
这说明在主服务上停止MySQL服务，触发了我们编写的脚本，进行自动故障切换。  
  
3、MySQL远程登入测试  
  
为MySQL服务器授权允许远程登入（ 两台主服务器都要授权）  
  
  
mysql> grant all on \*.\* to root@'%' identified by 'pwd123';  
  
 在客户端上测试登入

![wKiom1jYqPiiqJAcAA3SethJY\_0219.png][wKiom1jYqPiiqJAcAA3SethJY_0219.png]  
 上图说明客户端访问的VIP地址是由master1主机提供响应的，应为master1当前是主服务器，  
  
将master1的MySQL服务停止  
\[root@master1 ~\]\#  systemctl stop mysqld  
然后到客户端执行下命令  
![wKioL1jYqPuQSLIzAAZlpbs-AOA636.png][]   
  
上图可以看到客户端请求是由master2主机来响应的，说明故障切换成功  
   
四、总结  
Keepalived+mysql双主一般来说，适用于中小型规模的的公司环境，因为采用这种架构是最省事的。在master节点发生故障后，利用keepalived的高可用机制实现快速切换到备用节点。  
   
在这个方案里，有几个需要注意的地方：  
1、采用keepalived作为高可用方案时， 两个节点最好都设置成BACKUP模式 ，避免因为意外情况下（比如脑裂）相互抢占导致往两个节点写入相同数据而引发冲突；  
  
2、 把两个节点的auto\_increment\_increment（自增步长）和auto\_increment\_offset（自增起始值）设成不同值 。其目的是为了避免master节点意外宕机时，可能会有部分binlog未能及时复制到slave上被应用，从而会导致slave新写入数据的自增值和原先master上冲突了，因此一开始就使其错开；当然了，如果有合适的容错机制能解决主从自增ID冲突的话，也可以不这么做；  
  
3、slave节点服务器配置不要太差，否则更容易导致复制延迟。作为热备节点的slave服务器，硬件配置不能低于master节点；  
  
4、如果对延迟问题很敏感的话，可考虑使用MariaDB分支版本，或者直接上线MySQL 5.7最新版本，利用多线程复制的方式可以很大程度降低复制延迟；

[wKiom1VcUVix6gI6AAMDYWrXRzw071.jpg]: /images/20220708/770942ec241747f18630babb919aeecb.png
[wKioL1jYqLqCv4kMAATKZX6O74A934.png]: /images/20220708/93218aaf5fc14d3fa855203b52f4bbde.png
[wKiom1jYqMCxC-HtAAujrITaQCg789.png]: /images/20220708/235bde7e527c4df6904324a3979959b8.png
[wKiom1jYqMKhY6HRAATIoV6WF3Y593.png]: /images/20220708/ec0ef20127f74d84af862e47b352646c.png
[wKioL1jYqMfjElZYAApN3Tad6tM957.png]: /images/20220708/54441098a3db4027883e7dc686bb5b7b.png
[wKioL1jYqM6zOj2AAA80A1FZVwo327.png]: /images/20220708/267a8f5fe3fd435db48facf31a9bb930.png
[wKiom1jYqNDDaNyeAATQaYMScyA475.png]: /images/20220708/ddcbded3adc546efb4dd8cc947057857.png
[wKiom1jYqNHjnlyLAAMIMNjDCGk055.png]: /images/20220708/7202bb118cef459b9655e9fd074680ea.png
[wKioL1jYqNWC6dN6AAjN2LBBZDc239.png]: /images/20220708/df1315147f994e1ab74804209bf5f5d0.png
[wKiom1jYqNuRBqFeAAw7YFEgLEQ954.png]: /images/20220708/40daf10f3d694de4a1552c2bdc52b681.png
[wKioL1jYqOTifobbAA2WDrWFuRQ620.png]: /images/20220708/0c0fabb6431346379e1195685e6891e3.png
[wKioL1jYqOWQ9HUfAADpdUygfxQ872.png]: /images/20220708/9887c34771d44d5dbe00ae53e827c1bd.png
[wKiom1jYqOjByxUPAAdSplrmOoQ709.png]: /images/20220708/1f5158f49b7044bf8556e426a02b74e1.png
[wKioL1jYqOvDQHjRAAYuJSs20Y8552.png]: /images/20220708/dccf2a4d7f7e4b31ae37b713edc66985.png
[wKiom1jYqO2Sa_QSAAXXdNYQskw944.png]: /images/20220708/f19aaa38f7fb43a1a2440e0933c6d3e8.png
[wKioL1jYqPHQirWSAAepV2NUchU499.png]: /images/20220708/8fbf57bd043446b08cf3ef7b0344a028.png
[wKiom1jYqPiiqJAcAA3SethJY_0219.png]: /images/20220708/d699b7acd7484f82acacb8ca1c24f785.png
[wKioL1jYqPuQSLIzAAZlpbs-AOA636.png]: /images/20220708/71a8978b70f542048a622de76fa24b8a.png