heartbeat（四）heartbeat v2 crm 及 NFS共享存储的mysql高可用集群

旧城等待， 2022-07-16 01:54 199阅读 0赞

**heartbeat（四）**

**heartbeat v2 crm 及 NFS共享存储的mysql高可用集群**

>         前面[《高可用集群》][Link 1]认识高可用集群的一些基本概念，在《[heartbeat v2 haresource配置高可用集群][heartbeat v2 haresource]》认识heartbeat v2 haresource配置高可用集群，还在《[heartbeat v2 haresource 配置NFS共享存储高可用集群][heartbeat v2 haresource _NFS]》和《[heartbeat v2 crm 配置高可用集群][heartbeat v2 crm]》进行NFS共享WEB存储的高可用集群应用配置，下面将会在前面的基础上用heartbeat v2 crm配置NFS共享存储的mysql高可用集群。

## **1、mysql高可用集群架构设计** ##

>        这里在上篇《[heartbeat v2 crm 配置高可用集群][heartbeat v2 crm]》的架构基础上，进行一些改动，配置mysql高可用集群，具体架构资源如下：

![20160927234115523][]

> > 1、节点主机系统：RHEL 5.8 64bit
> > 
> > 2、高可用集群软件：Heartbeat v2 crm
> > 
> > 3、两台节点主机node1，node2：
> > 
> > > Node1： IP：192.168.18.241 host name：node1.tjiyu,com；
> > > 
> > > Node2： IP：192.168.18.242 host name：node2.tjiyu.com;
> > 
> > > VIP： 192.168.18.240
> > > 
> > > Service：mysql
> > 
> > 4、一台NFS服务主机：
> > 
> > > IP：192.168.18.243 
> > > 
> > > LVM：/dev/myvg/mydata 
> > > 
> > > 共享目录：/mydata（LVM），/mydata/data（mysql数据目录）
> > 
> > 5、三台主机相同用户：mysql mysql（组） 3306（uid、gid）

## **2、相关准备配置** ##

>        本文是在前面的配置基础上进行的，前面说到的heartbeat配置前所需要的准备：
> 
> > 1、配置IP、安装WEB服务、关闭防火墙；
> > 
> > 2、配置各节点名称；
> > 
> > 3、建立各节点间的SSH互信通信；
> > 
> > 4、各节点间的时间同步；
> > 
> > 5、heartbeat v2下载安装；
> > 
> > 6、如何配置使用crm/hb\_gui;
> 
>        这里就不再详细给出了，下面开始来配置。

## **3、配置NFS共享存储** ##

### **3-1、创建用户** ###

>        集群系统各节点mysql用户都需要对NFS共享目录下的mysql数据文件进行读写操作，这就需要用户有对该目录的读写权限，为方便，我们在三台主机分别创建相同的普通用户：用户名mysql ，属于mysql组，uid、gid都为 3306（如果uid、gid不一样就得对目录分别配置权限），稍后会为它们配置/mydata/data目录的读写权限，这样创建过程如下：

> > \[root@localhost ~\]\# groupadd -g 3306 mysql
> > 
> > \[root@localhost ~\]\# useradd -u 3306 -g mysql -s /sbin/nologin -M mysql

![20160927234116173][]![20160927234116383][]![20160927234116814][]

### **3-2、创建NFS共享存储的LVM** ###

>        mysql数据最好放到LVM（Logical Volume Manager，逻辑卷管理），方便以后进行扩展空间、备份等操作，按照上面的架构设计进行配置，先创建20G的分区/dev/sda5，然后在分区上创建PV（Physical Volume，物理卷），再在PV分区上创建VG（Volume Group，卷组），最后在VG上创建10G（另10G备份）的LV（Logical Volume，逻辑卷），并将LV格式化为EXT3文件系统，创建过程如下：

> > \[root@localhost ~\]\# fdisk /dev/sda
> > 
> > \[root@localhost ~\]\# partprobe /dev/sda
> > 
> > \[root@localhost ~\]\# fdisk –l
> > 
> > \[root@localhost ~\]\# pvcreate /dev/sda5
> > 
> > \[root@localhost ~\]\# vgcreate myvg /dev/sda5
> > 
> > \[root@localhost ~\]\# lvcreate -L 10G -n mydata myvg
> > 
> > \[root@localhost ~\]\# lvs
> > 
> > \[root@localhost ~\]\# mke2fs -j /dev/myvg/mydata

![20160927234117195][]

![20160927234117782][]

### **3-3、创建NFS共享存储** ###

> 1、先把上面创建的LVM挂载到/mydata目录下，需要配置/etc/fstab文件让LVM自动挂载，配置过程如下：

> > \[root@localhost ~\]\# mkdir /mydata
> > 
> > \[root@localhost ~\]\# vim /etc/fstab
> > 
> > \[root@localhost ~\]\# mount –a

![20160927234118289][]

![20160927234118595][]

> 2、配置/etc/exprots使得各节点可以共享NFS输出目录/mydata，然后在共享目录下创建mysql的数据目录/mydata/data，并为上面创建的mysql用户分配读写权限。

>        注意下面需要root用户进行mysql的安装初始化，会对共享目录进行读写，这就需要在配置/etc/exprots的时候加no\_root\_squash，否则root用户权限将被压缩成为匿名使用者权限，使得无法读写；但这个配置极不安全，最好开放到指定的IP，实际中不建议使用（不用NFS），配置过程如下：

> > \[root@localhost ~\]\# mkdir /mydata/data
> > 
> > \[root@localhost ~\]\# chown -R mysql.mysql /mydata/data/
> > 
> > \[root@localhost ~\]\# ll -d /mydata/data/
> > 
> > \[root@localhost ~\]\# vim /etc/exports
> > 
> > \[root@localhost ~\]\# exportfs -arv

![20160927234118867][]

![20160927234119126][]

> 3、在node1和node2上分别创建挂载目录/mydata，并尝试挂载测试，测试后记得卸载：

> > \[root@node2 ~\]\# mkdir /mydata
> > 
> > \[root@node2 ~\]\# mount 192.168.18.243:/mydata /mydata
> > 
> > \[root@node2 ~\]\# ls -l /mydata/
> > 
> > \[root@node2 ~\]\# umount /mydata/

![20160927234119429][]

![20160927234119704][]

## **4、配置mysql数据到NFS** ##

>        mysql5.5版本相对5.6/5.7要小很多，就先用5.5的来测试；先到官网下载mysql-5.5.28-linux2.6-x86\_64.tar.gz，放到两节点主机上，如果用yum安装反而比较麻烦，要做数据目录迁移等工作；

### **4-1、初始化mysql配置（node1）** ###

>        先在node1上对mysql进行初始化，首先解压mysql程序包，配置解压后程序目录文件的属组和属主为root组和上面创建的mysql用户；

>        然后再次挂载NFS共享目录，**初始化mysql数据到NFS共享存储目录**（注意上面说的no\_root\_squash，没配置无法初始化），同时指定为mysql用户，配置过程如下：

> > \[root@node1 ~\]\# tar -xf mysql-5.5.28-linux2.6-x86\_64.tar.gz -C /usr/local
> > 
> > \[root@node1 ~\]\# cd /usr/local/
> > 
> > \[root@node1 local\]\# ln -sv mysql-5.5.28-linux2.6-x86\_64 mysql
> > 
> > 创建指向"mysql-5.5.28-linux2.6-x86\_64"的符号链接"mysql"
> > 
> > \[root@node1 local\]\# cd mysql
> > 
> > \[root@node1 mysql\]\# chown -R root:mysql ./\*
> > 
> > \[root@node1 mysql\]\# ll
> > 
> > \[root@node1 mysql\]\# mount 192.168.18.243:/mydata /mydata
> > 
> > \[root@node1 mysql\]\# ./scripts/mysql\_install\_db --user=mysql --datadir=/mydata/data/

![20160927234119914][]

![20160927234120236][]

### **4-2、配置mysql配置文件，并启动测试（node1）** ###

>       先把mysql配置文件my.cf放到/etc下，并添加mysql数据目录项datadir为上面配置的共享目录/mydata/data，以及加上每个innodb表为一个文件的配置；

>       再把mysql服务脚本放到/etc/init.d/下（LSB），重命名mysqld，方便高可用集群的资源管理，然后配置禁止开机启动，配置如下：

> > \[root@node1 mysql\]\# ls -l /mydata/data/
> > 
> > \[root@node1 mysql\]\# cp support-files/my-large.cnf /etc/my.cnf
> > 
> > \[root@node1 mysql\]\# vim /etc/my.cnf
> > 
> > \[root@node1 mysql\]\# cp support-files/mysql.server /etc/init.d/mysqld
> > 
> > \[root@node1 mysql\]\# chkconfig --add mysqld
> > 
> > \[root@node1 mysql\]\# chkconfig mysqld off

![20160927234120476][]

![20160927234120751][]

>       启动mysql服务，并进行创建数据库的测试（注意上面说的no\_root\_squash，没配置无法创建数据库），如下：

> > \[root@node1 mysql\]\# service mysqld start
> > 
> > \[root@node1 mysql\]\# ./bin/mysql
> > 
> > mysql> create database tjuyi\_db;
> > 
> > mysql> show databases;

![20160927234121017][]

![20160927234121508][]

### **4-2、node2配置mysql，并启动测试** ###

>        上面node1测试好的，接着转到node2上进行mysql的相关配置：首先解压mysql程序包，配置解压后程序目录文件的属组和属主为root组和上面创建的mysql用户；

>        然后远程复制node1上刚才配置的两个文件/etc/my.cnf和/etc/init.d/mysqld到node2相同位置，配置mysqld禁止开机启动，这就行了，和在node1上配置差不多，区别是不需要进行初始化数据到共享目录，具体过程如下：

> > \[root@node1 mysql\]\# scp -p /etc/my.cnf node2:/etc
> > 
> > \[root@node1 mysql\]\# scp -p /etc/init.d/mysqld node2:/etc/init.d/

![20160927234121782][]

![20160927234122023][]

>       启动mysql服务前先停止node1上的mysql服务，并卸载NFS共享目录；

>       然后再在node2上启动mysql服务，进行测试，测试完后记得停止mysql服务，并卸载NFS共享目录，如下：

![20160927234122392][]

## **5、配置集群资源组** ##

>        参考上篇《[heartbeat v2 crm 配置高可用集群][heartbeat v2 crm]》，我们使用比较简单的方式，把VIP、NFS存储和mysqld三个资源配置到资源组group\_mysql\_service里，按顺序启动，注意配置的参数，但首先得在node1上启动heartbeat高可用服务，看DC在node1上，再在node1上启动hb\_gui，配置过程如下：

![20160927234122820][]

![20160927234123111][]

![20160927234123336][]

![20160927234123642][]

![20160927234123898][]

## **6、启动资源组测试** ##

> 1、启用资源组，各资源在node1上正常运行，再在node1上的mysql给root分配权限和设置密码，然后在客户端上用VIP远程登录mysql，正常登录，看到里面有前面创建的tjiyu\_db数据库，如下：

![20160927234124220][]

![20160927234124429][]

![20160927234124704][]

> 2、使活动节点node1成为备节点， node2成为主节点，各资源正常运行，再通过客户端上用VIP远程登录mysql，正常登录：

![20160927234124929][]

> 3、使活动节点node2成为备节点，node1重新成为主节点；各资源正常运行，再通过客户端连接VIP，正常连接，然后在tjiyu\_db创建一个test表，一切正常：

![20160927234125220][]

>       以上测试说明hb\_gui配置的heartbeat crm提供了高可用功能，同时该mysql高可用集群使用了LVM-NFS共享存储。

>       该mysql高可用集群存在很多不足，比如NFS服务单独一个主机容易出现故障，是不是也得提供高可用服务呢？后面再解决…..

>       经过写这篇文章，对heartbeat v2 crm配置NFS共享存储的mysql高可用集群有了一个基本的认识，下面将认识下corosync及如何配置corosync高可用……

【参考资料】

1、Pacemaker：[http://clusterlabs.org/wiki/Pacemaker][http_clusterlabs.org_wiki_Pacemaker]

2、High-availability cluster：[https://en.wikipedia.org/wiki/High-availability\_cluster\#Node\_configurations|][http_clusterlabs.org_wiki_Pacemaker]

3、高可用集群：[http://blog.csdn.net/tjiyu/article/details/52643096][Link 1]

4、heartbeat v2 haresource配置高可用集群：[http://blog.csdn.net/tjiyu/article/details/52663927][heartbeat v2 haresource]

5、heartbeat v2 haresource 配置NFS共享存储高可用集群：[http://blog.csdn.net/tjiyu/article/details/52669394][heartbeat v2 haresource _NFS]

6、heartbeat v2 crm 配置高可用集群：[http://blog.csdn.net/tjiyu/article/details/52675500][heartbeat v2 crm]

7、Linux LVM逻辑卷配置过程详解：[http://dreamfire.blog.51cto.com/418026/1084729/][http_dreamfire.blog.51cto.com_418026_1084729]

8、no\_root\_squash 是什么意思：[http://zhidao.baidu.com/link?url=HA9ab5PYOtx2fdfUZfI1dn8\_\_Qt0oMxPzMzVuQyHsVXoGffIVM2QGy9a2f-vTmrsJGsNOVWjta8P80Rg7It2mq][http_zhidao.baidu.com_link_url_HA9ab5PYOtx2fdfUZfI1dn8_Qt0oMxPzMzVuQyHsVXoGffIVM2QGy9a2f-vTmrsJGsNOVWjta8P80Rg7It2mq]

[Link 1]: http://blog.csdn.net/tjiyu/article/details/52643096
[heartbeat v2 haresource]: http://blog.csdn.net/tjiyu/article/details/52663927
[heartbeat v2 haresource _NFS]: http://blog.csdn.net/tjiyu/article/details/52669394
[heartbeat v2 crm]: http://blog.csdn.net/tjiyu/article/details/52675500
[20160927234115523]: /images/20220716/c981975067104347a802745f24429896.png
[20160927234116173]: https://img-blog.csdn.net/20160927234116173
[20160927234116383]: https://img-blog.csdn.net/20160927234116383
[20160927234116814]: /images/20220716/9873173213234a4fb7c5b261bd42efd0.png
[20160927234117195]: /images/20220716/aa6b53638e3641f387fee79b7d078360.png
[20160927234117782]: /images/20220716/995375f927884313b967dc811742bdfc.png
[20160927234118289]: /images/20220716/2fc5b904ff974a9192f9bc7071633f40.png
[20160927234118595]: /images/20220716/1f9c00ecbd054f2c8b2a58fcdabbb8e9.png
[20160927234118867]: /images/20220716/013933681f314828a00d4c6aecbdce68.png
[20160927234119126]: /images/20220716/fc6c47788bfe4921991695206df3d3e6.png
[20160927234119429]: /images/20220716/25448a49085f4fb6980b16384012245a.png
[20160927234119704]: /images/20220716/c1641df8e8ff49059456339d23abcb03.png
[20160927234119914]: /images/20220716/52bd82a79daa440494b62226fadb7945.png
[20160927234120236]: /images/20220716/4a36292407434389a4cee08e79baa6e0.png
[20160927234120476]: /images/20220716/eafe5f330e904538932756517295683b.png
[20160927234120751]: /images/20220716/2fa9cf1d73f945a79c03ba4134dedfd2.png
[20160927234121017]: /images/20220716/0d4e492ff5754356827b4afe91a377a9.png
[20160927234121508]: /images/20220716/41fb252602fe4655abc52f6211efa903.png
[20160927234121782]: /images/20220716/a37d5c90fec845278cfee45cd0771b5c.png
[20160927234122023]: /images/20220716/3dd2c8de3e254a97b278879d410c342f.png
[20160927234122392]: /images/20220716/42a6709eeb6b40da86baa11cc30aed46.png
[20160927234122820]: /images/20220716/d0734ec7c8804b1eae5f5515a04e8eea.png
[20160927234123111]: /images/20220716/d987005ecbb04a5d8e8277050c9c04aa.png
[20160927234123336]: /images/20220716/e763abb617094f4a8d16c1fe27ee116f.png
[20160927234123642]: /images/20220716/e27928ecaa814058a278597d2f6201bb.png
[20160927234123898]: /images/20220716/96134c3fcb0348dcb6aec4a3261d4a68.png
[20160927234124220]: /images/20220716/5c31ef26989d484099705488f18b032c.png
[20160927234124429]: /images/20220716/dff3fb04edee462fae1cf793a2b4a29b.png
[20160927234124704]: /images/20220716/b8f951561a3c43c59d4d3e9933d4b680.png
[20160927234124929]: /images/20220716/93225169dede4915b4eea32f9d557bd2.png
[20160927234125220]: /images/20220716/52b5648aaf2e4706b9f5f226a1dcacd8.png
[http_clusterlabs.org_wiki_Pacemaker]: http://minux.blog.51cto.com/8994862/1744761
[http_dreamfire.blog.51cto.com_418026_1084729]: http://dreamfire.blog.51cto.com/418026/1084729/
[http_zhidao.baidu.com_link_url_HA9ab5PYOtx2fdfUZfI1dn8_Qt0oMxPzMzVuQyHsVXoGffIVM2QGy9a2f-vTmrsJGsNOVWjta8P80Rg7It2mq]: http://zhidao.baidu.com/link?url=HA9ab5PYOtx2fdfUZfI1dn8__Qt0oMxPzMzVuQyHsVXoGffIVM2QGy9a2f-vTmrsJGsNOVWjta8P80Rg7It2mq