DRBD（二） DRBD + corosync + pacemaker 配置mysql高可用集群

你的名字 2022-07-16 04:09 285阅读 0赞

**DRBD（二） DRBD + corosync + pacemaker**

**配置mysql高可用集群**

>        在[《高可用集群》][Link 1]认识高可用集群的一些基本概念，在《[heartbeat v2 crm 及 NFS共享存储的mysql高可用集群][heartbeat v2 crm _ NFS_mysql]》等文章全面认识了用heartbeat v2 配置高可用集群，在《[corosync pacemaker 配置高可用集群][corosync pacemaker]》识别了corosy+pacemaker配置高可用集群，以及在[《DRBD 及 DRBD配置》][DRBD _ DRBD]全面认识了DRBD，下面将会在前面的一些基础上配置DRBD + corosync + pacemaker的mysql高可用集群。

## **1、架构设计** ##

>        这里在《[heartbeat v2 haresource 配置NFS共享存储高可用集群][heartbeat v2 haresource _NFS]》的架构基础上，进行一些改动，不再使用NFS共享存储，而用DRBD同步两节点的mysql数据，具体架构资源如下：

![20161003171439923][]

> > 1、节点主机系统：RHEL 5.8 64bit
> > 
> > 2、高可用集群软件：corosync + pacemaker
> > 
> > 3、两台节点主机node1，node2：
> > 
> > > Node1： IP：192.168.18.241 host name：node1.tjiyu,com；
> > > 
> > > Node2： IP：192.168.18.242 host name：node2.tjiyu.com;
> > > 
> > > VIP： 192.168.18.240
> > 
> > 4、DRBD：
> > 
> > > Disk：/dev/sda5 1G 
> > > 
> > > DRBD device：/dev/drbd0
> > > 
> > > DRBD resource：mydrbd
> > > 
> > > mount directory：/drbd
> > 
> > 5、所提供服务：mysql
> > 
> > > Data directory：/mydata/data （DRBD device）
> > > 
> > > 两节点相同用户：mysql mysql（组） 3306（uid、gid）

## **2、相关准备配置** ##

>       本文是在前面的一些文章的配置基础上进行的，前面说到的集群高可用配置前所需要的准备，如：

>       在《[heartbeat v2 haresource 配置高可用集群][heartbeat v2 haresource]》中详细介绍了以下配置：

> > 1、配置IP、关闭防火墙；
> > 
> > 2、配置各节点名称；
> > 
> > 3、建立各节点间的SSH互信通信；
> > 
> > 4、各节点间的时间同步；

>       在[《corosync pacemaker 配置高可用集群（一）》][corosync pacemaker]详细介绍了以下配置：

> > 5、corosync 和 pacemaker安装配置，配置corosync+pacemaker 可以正常运行；

>       在上一篇[《DRBD 及 DRBD配置》][DRBD _ DRBD]全面认识了DRBD：

> > 6、DRBD安装配置，配置DRBD 可以正常运行；

>       以上这些准备配置，这里就不再详细给出了。

>       而在《[heartbeat v2 crm 及 NFS共享存储的mysql高可用集群][heartbeat v2 crm _ NFS_mysql]》是配置mysql数据到NFS，和文本配置到DRBD设备有些区别，所以下面先进行配置mysql数据到DRBD。

## **3、配置mysql数据到DRBD** ##

>       mysql5.5版本相对5.6/5.7要小很多，就先用5.5的来测试；先到官网下载mysql-5.5.28-linux2.6-x86\_64.tar.gz，放到两节点主机上；如果用yum安装反而比较麻烦，要做数据目录迁移等工作。

### **3-1、创建mysql用户** ###

>        集群系统各节点mysql用户都需要对挂载DRBD设备目录下的mysql数据文件进行读写操作，这就需要用户有对该目录的读写权限，为方便，我们在两台节点主机分别创建相同的普通用户：用户名mysql ，属于mysql组，uid、gid都为 3306（如果uid、gid不一样就得对目录分别配置权限），稍后会为它们配置/mydata/data目录的读写权限，创建过程如下：

> >     [root@node1 ~]# groupadd -g 3306 mysql
> >     
> >             [root@node1 ~]# useradd -u 3306 -g mysql -s /sbin/nologin -M mysql
> >     
> >             [root@node1 ~]# id mysql

![20161003171440492][]![20161003171440955][]

### **3-2、解压mysql，并给mysql用户分配权限（node1）** ###

>       先在node1上对mysql进行初始化，首先解压mysql程序包，配置解压后程序目录文件的属组和属主为root组和上面创建的mysql用户：

> >     [root@node1 ~]# tar -xf mysql-5.5.28-linux2.6-x86_64.tar.gz -C /usr/local
> >     
> >             [root@node1 ~]# cd /usr/local/
> >     
> >             [root@node1 local]# ln -sv mysql-5.5.28-linux2.6-x86_64 mysql

>       创建指向"mysql-5.5.28-linux2.6-x86\_64"的符号链接"mysql"

> >     [root@node1 local]# cd mysql
> >     
> >             [root@node1 mysql]# chown -R root:mysql ./*
> >     
> >             [root@node1 mysql]# ll

![20161003171441288][]

### **3-3、初始化mysql配置（node1）** ###

>        注意，先查看DRBD状态，因为现在在node1上操作，查看DRBD的活动节点是不是node1，如果不是先转换。这里是按上篇测试后的配置，所以node2为活动节点，先转换，如下：

>     Node2：
>     
>             [root@node2 ~]# drbd-overview
>     
>             [root@node2 ~]# umount /drbd/
>     
>             [root@node2 ~]# drbdadm secondary mydrbd
>     
>         Node1：
>     
>             [root@node1 mysql]# drbdadm primary mydrbd
>     
>             [root@node1 mysql]# drbd-overview

![20161003171442470][]

>        然后创建DRBD设备的挂载目录/mydata，挂载后，再创建/mydata/data目录为mysql的数据目录，并为该目录配置上面创建的mysql用户/组为属主/属组，使其具有读写权限，如下：

> >     [root@node1 mysql]# mkdir /mydata
> >     
> >             [root@node1 mysql]# mount /dev/drbd0 /mydata
> >     
> >             [root@node1 mysql]# mkdir /mydata/data
> >     
> >             [root@node1 mysql]# chown -R mysql.mysql /mydata/data/
> >     
> >             [root@node1 mysql]# ll -d /mydata/data/

![20161003171442992][]

> **       初始化mysql数据到/mydata/data目录**，同时指定为mysql用户；完成查看数据目录下是否存在数据文件，并且属主和配置的致，配置过程如下：

> >     [root@node1 mysql]# ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data/
> >     
> >             [root@node1 mysql]# ls -l /mydata/data/

![20161003171443486][]

![20161003171443898][]

### **3-4、配置mysql配置文件，并启动测试（node1）** ###

>       先把mysql配置文件my.cf放到/etc下，并添加mysql数据目录项datadir为上面配置的共享目录/mydata/data，以及加上每个innodb表为一个文件的配置；

> > datadir = /mydata/data
> > 
> > innodb\_file\_per\_table = 1

>       再把mysql服务脚本放到/etc/init.d/下（LSB），重命名mysqld，方便高可用集群的资源管理，然后配置禁止开机启动，配置如下：

> >     [root@node1 mysql]# cp support-files/my-large.cnf /etc/my.cnf
> >     
> >             [root@node1 mysql]# vim /etc/my.cnf
> >     
> >             [root@node1 mysql]# cp support-files/mysql.server /etc/init.d/mysqld
> >     
> >             [root@node1 mysql]# chkconfig --add mysqld
> >     
> >             [root@node1 mysql]# chkconfig mysqld off
> >     
> >             [root@node1 mysql]# chkconfig --list mysqld

![20161003171444236][]

![20161003171444507][]

>      启动mysql服务，并进行创建数据库的测试，如下：

> >     [root@node1 mysql]# service mysqld start
> >     
> >             [root@node1 mysql]# ./bin/mysql
> >     
> >             mysql> create database tjuyi_db;
> >     
> >             mysql> show databases;

![20161003171444845][]

![20161003171445257][]

### **3-5、node2配置mysql，并启动测试** ###

>        上面node1测试好的，接着转到node2上进行mysql的相关配置。

>        首先像在4-1一样，在node2上解压mysql程序包，配置解压后程序目录文件的属组和属主为root组和上面创建的mysql用户；

>        然后远程复制node1上刚才配置的两个文件/etc/my.cnf和/etc/init.d/mysqld到node2相同位置，配置mysqld禁止开机启动，这就行了，和在node1上配置差不多，**区别是不需要进行初始化数据到共享目录，因为在node1初始化的时候，DRBD已经把相关文件也同步到node2上**，具体过程如下：

> >     [root@node1 mysql]# scp -p /etc/my.cnf node2:/etc
> >     
> >             [root@node1 mysql]# scp -p /etc/init.d/mysqld node2:/etc/init.d/

![20161003171445548][]

![20161003171445914][]

>        启动mysql服务前，先停止node1上的mysql服务，然后切换Primary和Secondary节点，使node2成为活动节点：

> >     Node1：
> >     
> >                 [root@node1 mysql]# service mysqld stop
> >     
> >                 [root@node1 mysql]# umount /mydata
> >     
> >                 [root@node1 mysql]# drbdadm secondary mydrbd
> >     
> >                 [root@node1 mysql]# drbd-overview
> >     
> >             Node2：
> >     
> >                 [root@node2 mysql]# drbdadm primary mydrbd
> >     
> >                 [root@node2 mysql]# drbd-overview

>       接着在node2上创建DRBD设备的挂载目录/mydata，并挂载，**可以看到/mydata/data下存在了mysql初始化的相关文件**；

> >     [root@node2 mysql]# mkdir /mydata
> >     
> >             [root@node2 mysql]# mount /dev/drbd0 /mydata/
> >     
> >             [root@node2 mysql]# ll /mydata/data/

![20161003171446580][]

>       然后在node2上启动mysql服务，进行测试，可以看到在node1上创建的tjiyu\_db数据库，如下：

> >     [root@node2 mysql]# service mysqld start
> >     
> >             [root@node2 mysql]# ./bin/mysql
> >     
> >                 mysql> show databases;

![20161003171446867][]

>       以上测试说明了**，在node1初始化mysql和操作mysql数据（创建数据）的时候，DRBD自动把相关文件也同步到node2上。**

## **4、配置高可用集群资源** ##

>       Crm sh在《[**corosync pacemaker 配置高可用集群（二）**][corosync pacemaker 1]》有详细介绍，下面将用crm sh来配置DRBD、DRBD设备存储、mysql和VIP四个集群资源，以及它们间资源约束。

### **4-1、停止mysql和DRBD服务，开启corosync** ###

>       上面测试好后，开始配置集群资源前，需要先停止mysql服务，并停止两节点上的DRBD服务，以及禁止开机启动，如下：

> >     Node2：
> >     
> >                 [root@node2 mysql]# service mysqld stop
> >     
> >                 [root@node2 mysql]# umount /mydata
> >     
> >                 [root@node2 mysql]# drbdadm secondary mydrbd
> >     
> >                 [root@node2 mysql]# service drbd stop
> >     
> >                 [root@node2 mysql]# chkconfig --list drbd
> >     
> >                 [root@node2 mysql]# chkconfig drbd off
> >     
> >                 [root@node2 mysql]# chkconfig --list drbd
> >     
> >             Node1：
> >     
> >                 [root@node1 mysql]# service drbd stop
> >     
> >                 [root@node1 mysql]# chkconfig drbd off
> >     
> >                 [root@node1 mysql]# chkconfig --list drbd

![20161003171447408][]

>       启动两节点上的corosync服务，并保证都是在线状态：

> >     [root@node1 ~]# service corosync start
> >     
> >             [root@node1 ~]# ssh node2 'service corosync start'
> >     
> >             [root@node1 ~]# crm
> >     
> >             crm(live)# status
> >     
> >             crm(live)# node
> >     
> >             crm(live)node# online
> >     
> >             crm(live)node# online node2.tjiyu.com
> >     
> >             crm(live)node# cd ..
> >     
> >             crm(live)# status

![20161003171447789][]

### **4-2、解决STONITH和不满足合法票数的问题** ###

>       这两个问题在《[**corosync pacemaker 配置高可用集群（二）**][corosync pacemaker 1]》有详细介绍。

>       先解决刚开始默认STONITH配置错误，因为没有STONITH设备，修改默认属性配置，如下：

> >     crm(live)configure# property stonith-enabled=false

![20161003171448205][]

>        不满足合法票数的问题，可以通过如下的命令来修改忽略quorum不能满足的集群状态检查：

> >     crm(live)configure# property no-quorum-policy=ignore
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# commit

![20161003171448445][]

### **4-3、配置DRBD资源** ###

>       可用crm(live)ra\# info drbd查看DRBD资源代理相关信息，发现给出的是ocf:heartbeat:drbd，这应该是版本问题，下面还是用官方的ocf:linbit:drbd；

>        另外，drbd需要同时运行在两个节点上，但只能有一个节点（primary/secondary模型）是Master，而另一个节点为Slave；因此，它是一种比较特殊的集群资源，其资源类型为多态（Multi-state）clone类型，即主机节点有Master和Slave之分，且要求服务刚启动时两个节点都处于slave状态。所以还用ms命令来配置主从资源，过程如下：

> >     [root@node1 ~]# crm
> >     
> >             crm(live)# configure
> >     
> >             crm(live)configure# primitive res_drbd ocf:linbit:drbd params drbd_resource=mydrbd op start timeout=240 op stop timeout=100 op monitor role=Master interval=20 timeout=30 op monitor role=Slave interval=30 timeout=30
> >     
> >             crm(live)configure# ms ms_drbd res_drbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
> >     
> >             crm(live)configure# show
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# commit
> >     
> >             crm(live)configure# cd ..
> >     
> >             crm(live)# status

![20161003171448924][]

>        配置后，发现DRBD服务的Primary节点为node1，Secondary节点为node2,如下：

![20161003171449257][]

### **4-4、配置DRBD设备存储资源** ###

>        ms\_drbd的Master节点node1即为drbd服务资源的Primary节点，此节点的设备/dev/drbd0可以挂载使用，且在集群服务的应用当中需要能够实现自动挂载，挂载至mysql数据目录/mydata，如下：

> >     crm(live)configure# primitive res_storage ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/mydata fstype=ext3 op start timeout=60 op stop timeout=60
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# show
> >     
> >             crm(live)configure# cd ..
> >     
> >             There are changes pending. Do you want to commit them? y
> >     
> >             crm(live)# status

![20161003171449705][]

### **4-5、配置mysql和VIP资源** ###

>        把最后两个资源配置了，查看状态，发现node2上启动不了mysql，这是因为数据存储资源运行在node1，所以下面还需要配置资源约束，让它们运行在活动节点，如下：

> >     crm(live)configure# primitive mysqld lsb:mysqld
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# primitive vip ocf:heartbeat:IPaddr params ip=192.168.18.240 nic=eth0 cidr_netmask=255.255.255.0
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# commit
> >     
> >             crm(live)configure# cd ..
> >     
> >             crm(live)# status

![20161003171450017][]

### **4-6、配置排列（协同）约束** ###

>        mysql服务资源mysqld依赖于DRBD存储资源res\_storage，DRBD存储资源res\_storage依赖于DRBD服务主资源ms\_drbd:Master，DRBD服务主资源ms\_drbd:Master依赖于VIP资源vip（**注意：一定是DRBD服务主资源ms\_drbd:Master**，如果没有后面的Master，集群是无法正常式作的，还有可能导致DRBD脑裂，前面[《DRBD 及 DRBD配置》][DRBD _ DRBD]给出了**DRBD脑裂解决方法**），配置如下：

> >     crm(live)configure# colocation mysqld_with_storage inf: mysqld res_storage
> >     
> >             crm(live)configure# colocation storage_with_ms_drbd inf: res_storage ms_drbd:Master
> >     
> >             crm(live)configure# colocation ms_drbd_with_vip inf: ms_drbd:Master vip
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# commit

![20161003171450289][]

### **4-7、配置顺序约束** ###

>         mysql服务资源mysqld在启动DRBD存储资源res\_storage后再启动，DRBD存储资源res\_storage在启动DRBD服务主从资源ms\_drbd后再启动（**注意：res\_storage只有在DRBD服务主从资源ms\_drbd处于promote状态，也就是DRBD服务成功了主从切换后，其才能进行挂载，否则**集群是无法正常式作的，还有可能导致DRBD脑裂，前面[《DRBD 及 DRBD配置》][DRBD _ DRBD]给出了**DRBD脑裂解决方法**），配置如下：

> >     crm(live)configure# order mysqld_after_storage mandatory: res_storage mysqld
> >     
> >             crm(live)configure# order storage_after_ms_drbd mandatory: ms_drbd:promote res_storage:start
> >     
> >             crm(live)configure# verify
> >     
> >             crm(live)configure# commit

![20161003171450564][]

>        最后提交的信息如下：

![20161003171451398][]

## **5、测试** ##

### **5-1、清理资源错误状态** ###

>        上面配置好后，有的资源启动可能会发生错误，因为刚开始资源不在一个节点。把资源状态都清理一下，让它们按配置再重新启动就好了，可以看到全部资源都运行在了node2上，如下：

> >     crm(live)# resource
> >     
> >             crm(live)resource# cleanup ms_drbd
> >     
> >             crm(live)resource# cleanup res_storage
> >     
> >             crm(live)resource# cleanup mysqld

![20161003171451845][]

![20161003171452101][]

### **5-2、测试node2的mysql** ###

>        从上面知道，各资源在node2上正常运行，我们就先在node2上的mysql给root分配权限和设置密码，如下：

> >     [root@node2 ~]# /usr/local/mysql/bin/mysql
> >     
> >             mysql> GRANT ALL ON *.* to 'root'@'%' IDENTIFIED BY '123456';
> >     
> >             mysql> FLUSH PRIVILEGES;

![20161003171452486][]

>         然后在客户端上用VIP远程登录mysql，正常登录，看到里面有前面创建的tjiyu\_db数据库；并且在里面新建drbd\_db数据库，库内新建test表，如下：

![20161003171453023][]

### **5-3、切换到node1上，进行测试** ###

>       在资源活动节点node2上操作，使node2成为备节点， node1成为主节点，让各资源转移到node1上，并正常运行，然后使node2再次上线，如下：

> >     crm(live)# node
> >     
> >             crm(live)node# standby
> >     
> >             crm(live)node# cd ..
> >     
> >             crm(live)# status
> >     
> >             crm(live)# node
> >     
> >             crm(live)node# online
> >     
> >             crm(live)node# cd ..
> >     
> >             crm(live)# status

![20161003171453361][]

![20161003171453632][]

>       再通过客户端上用VIP远程登录mysql，正常登录，并且可以看到在node2上创建drbd\_db库和test表：

![20161003171454017][]

>       到这里，配置DRBD + corosync + pacemaker的mysql高可用集群就可以正常运行了，后面将会继续关注分布式文件系统和其他高可用方案……

【参考资料】

1、Pacemaker：[http://clusterlabs.org/wiki/Pacemaker][http_clusterlabs.org_wiki_Pacemaker]

2、High-availability cluster：[https://en.wikipedia.org/wiki/High-availability\_cluster\#Node\_configurations|][http_clusterlabs.org_wiki_Pacemaker]

3、DRBD 及 DRBD配置：[http://blog.csdn.net/tjiyu/article/details/52723125][DRBD _ DRBD]

4、高可用集群：[http://blog.csdn.net/tjiyu/article/details/52643096][Link 1]

5、heartbeat v2 haresource配置高可用集群：[http://blog.csdn.net/tjiyu/article/details/52663927][heartbeat v2 haresource]

6、heartbeat v2 crm 配置高可用集群：[http://blog.csdn.net/tjiyu/article/details/52675500][http_blog.csdn.net_tjiyu_article_details_52675500]

7、heartbeat v2 crm 及 NFS共享存储的mysql高可用集群：[http://blog.csdn.net/tjiyu/article/details/52686122][heartbeat v2 crm _ NFS_mysql]

8、corosync pacemaker 配置高可用集群（一）：[http://blog.csdn.net/tjiyu/article/details/52714004][corosync pacemaker]

9、Corosync+Pacemaker+DRBD+MySQL 实现高可用(HA)的MySQL集群：[http://freeloda.blog.51cto.com/2033581/1275528][http_freeloda.blog.51cto.com_2033581_1275528]

[Link 1]: http://blog.csdn.net/tjiyu/article/details/52643096
[heartbeat v2 crm _ NFS_mysql]: http://blog.csdn.net/tjiyu/article/details/52686122
[corosync pacemaker]: http://blog.csdn.net/tjiyu/article/details/52714004
[DRBD _ DRBD]: http://blog.csdn.net/tjiyu/article/details/52723125
[heartbeat v2 haresource _NFS]: http://blog.csdn.net/tjiyu/article/details/52669394
[20161003171439923]: /images/20220716/f8f85ef6a9ea48e7b0f1c4d1a270c243.png
[heartbeat v2 haresource]: http://blog.csdn.net/tjiyu/article/details/52663927
[20161003171440492]: https://img-blog.csdn.net/20161003171440492
[20161003171440955]: /images/20220716/9316711809344fe7b456cc564f26b49f.png
[20161003171441288]: /images/20220716/0de54132bbd542c289d1498733811ce4.png
[20161003171442470]: /images/20220716/52c94e323b674600a683cd8980b2cf86.png
[20161003171442992]: /images/20220716/09ceca1deb0240789b4b9d4216bd4fc5.png
[20161003171443486]: /images/20220716/fbc5a3444ea8407488f4d4d7826869b1.png
[20161003171443898]: /images/20220716/fa571d42c4504d56bee6b93c0dbf86af.png
[20161003171444236]: /images/20220716/af18a65e9a694229871bf5bb6e5b2c91.png
[20161003171444507]: /images/20220716/46cce33edd5947dfa2c32aa506e37ec1.png
[20161003171444845]: /images/20220716/7f2fabf8741d43268c047c3cc30fcb79.png
[20161003171445257]: /images/20220716/2cb654f12c264d0c843bcdc5794368b7.png
[20161003171445548]: /images/20220716/a5c17faf019b4acab84f7722ea9441b2.png
[20161003171445914]: /images/20220716/3359827135ee4244a0c528b6d6ffed43.png
[20161003171446580]: /images/20220716/09a909cf76664619bf9c1628fa580160.png
[20161003171446867]: /images/20220716/8ca117f42c39466285dbe888af1fe460.png
[corosync pacemaker 1]: http://blog.csdn.net/tjiyu/article/details/52714012
[20161003171447408]: /images/20220716/e487038b32fd43f8a337b17bb64a8c54.png
[20161003171447789]: /images/20220716/a226b68655f5452881898d12a3205ef8.png
[20161003171448205]: /images/20220716/86e6612fe022430498f0a1bafadd721e.png
[20161003171448445]: /images/20220716/695635db6b4d47c498155c24ac734e4f.png
[20161003171448924]: /images/20220716/d24281c98b4b4d81b6827f5626eea8bf.png
[20161003171449257]: /images/20220716/35c3d12ef3e843f0b5d520dc3117c09e.png
[20161003171449705]: /images/20220716/af0acdb138454049b3fe3294ec372f36.png
[20161003171450017]: /images/20220716/5e569593242b483ab770ef2282d903f1.png
[20161003171450289]: /images/20220716/652f22fe7a014de0aab46e05199abc1b.png
[20161003171450564]: /images/20220716/c124fecd898a4c468a8b9f0d6b5f0331.png
[20161003171451398]: /images/20220716/2fc92ddd54484c8ab3463500a69cf405.png
[20161003171451845]: /images/20220716/8557f8e98ced41c686060c3553d0a5d7.png
[20161003171452101]: /images/20220716/35083b0359554fd6a6e72ea4e708e942.png
[20161003171452486]: /images/20220716/4b9f6b27989543c2b87bede85aa24d55.png
[20161003171453023]: /images/20220716/6f4a8c1fdab24136adc08b2ff02d153e.png
[20161003171453361]: /images/20220716/2770108182604852b291a1f5a7762fd4.png
[20161003171453632]: /images/20220716/651fac5f052047e3bf1dd1943ea6a7b3.png
[20161003171454017]: /images/20220716/ddc37335e5eb4ec6afe480f7193da88f.png
[http_clusterlabs.org_wiki_Pacemaker]: http://minux.blog.51cto.com/8994862/1744761
[http_blog.csdn.net_tjiyu_article_details_52675500]: http://blog.csdn.net/tjiyu/article/details/52675500
[http_freeloda.blog.51cto.com_2033581_1275528]: http://freeloda.blog.51cto.com/2033581/1275528