MariaDB Galera Cluster 安装

秒速五厘米 2022-07-26 00:11 171阅读 0赞

一、MariaDB Galera Cluster概要：

1.简述：

MariaDB Galera Cluster 是一套在mysql innodb存储引擎上面实现multi-master及数据实时同步的系统架构，业务层面无需做读写分离工作，数据库读写压力都能按照既定的规则分发到 各个节点上去。在数据方面完全兼容 MariaDB 和 MySQL。

2.特性：

(1).同步复制 Synchronous replication

(2).Active-active multi-master 拓扑逻辑

(3).可对集群中任一节点进行数据读写

(4).自动成员控制，故障节点自动从集群中移除

(5).自动节点加入

(6).真正并行的复制，基于行级

(7).直接客户端连接，原生的 MySQL 接口

(8).每个节点都包含完整的数据副本

(9).多台数据库中数据同步由 wsrep 接口实现

3.局限性

(1).目前的复制仅仅支持InnoDB存储引擎,任何写入其他引擎的表，包括mysql.\*表将不会复制,但是DDL语句会被复制的,因此创建用户将会被复制,但是insert into mysql.user…将不会被复制的.

(2).DELETE操作不支持没有主键的表,没有主键的表在不同的节点顺序将不同,如果执行SELECT…LIMIT… 将出现不同的结果集.

(3).在多主环境下LOCK/UNLOCK TABLES不支持,以及锁函数GET\_LOCK(), RELEASE\_LOCK()…

(4).查询日志不能保存在表中。如果开启查询日志，只能保存到文件中。

(5).允许最大的事务大小由wsrep\_max\_ws\_rows和wsrep\_max\_ws\_size定义。任何大型操作将被拒绝。如大型的LOAD DATA操作。

(6).由于集群是乐观的并发控制，事务commit可能在该阶段中止。如果有两个事务向在集群中不同的节点向同一行写入并提交，失败的节点将中止。对 于集群级别的中止，集群返回死锁错误代码(Error: 1213 SQLSTATE: 40001 (ER\_LOCK\_DEADLOCK)).

(7).XA事务不支持，由于在提交上可能回滚。

(8).整个集群的写入吞吐量是由最弱的节点限制，如果有一个节点变得缓慢，那么整个集群将是缓慢的。为了稳定的高性能要求，所有的节点应使用统一的硬件。

(9).集群节点建议最少3个。

(10).如果DDL语句有问题将破坏集群。

二、MariaDB Galera Cluster搭建演示

1.环境描述

OS: red hat linux 6.0 64bit

<table style="border-spacing:0px; border-collapse:collapse; color:rgb(64,64,64); font-family:'Microsoft YaHei',Verdana,sans-serif,SimSun; font-size:14px; line-height:25.2px"> 
 <tbody style=""> 
  <tr style=""> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">MariaDB&nbsp;server1:</span></td> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">192.168.1.137</span></td> 
  </tr> 
  <tr style=""> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">MariaDB&nbsp;server2:</span></td> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">192.168.1.138</span></td> 
  </tr> 
  <tr style=""> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">MariaDB&nbsp;server3:</span></td> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">192.168.1.139</span></td> 
  </tr> 
 </tbody> 
</table>

<table style="border-spacing:0px; border-collapse:collapse; color:rgb(64,64,64); font-family:'Microsoft YaHei',Verdana,sans-serif,SimSun; font-size:14px; line-height:25.2px"> 
 <tbody style=""> 
  <tr style=""> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">Galera SST user:</span></td> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">sst</span></td> 
  </tr> 
  <tr style=""> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">Galera SST password:</span></td> 
   <td style="padding:0px"><span style="line-height:23.4px; font-family:'times new roman',times; font-size:12px">sstpass123</span></td> 
  </tr> 
 </tbody> 
</table>

2. 配置mariadb的yum源

\[root@client137 ~\]\#  vim /etc/yum.repos.d/mariadb.repo

\[root@client138 ~\]\#  vim /etc/yum.repos.d/mariadb.repo

\[root@client139 ~\]\#  vim /etc/yum.repos.d/mariadb.repo

\# yum源的内容如下：

\[mariadb\]

name = MariaDB

baseurl = http://yum.mariadb.org/5.5/rhel6-amd64

enabled = 1

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

\[root@client137 ~\]\#  yum makecache

\[root@client138 ~\]\#  yum makecache

\[root@client139 ~\]\#  yum makecache

3.安装 MariaDB-Galera-server galera MariaDB-client

\[root@client137 ~\]\# yum -y install MariaDB-Galera-server galera MariaDB-client

\[root@client138 ~\]\# yum -y install MariaDB-Galera-server galera MariaDB-client

\[root@client139 ~\]\# yum -y install MariaDB-Galera-server galera MariaDB-client

4.编辑每台机器的hosts文件，添加如下内容

\[root@client137 ~\]\# vim /etc/hosts

192.168.1.137 client137.kongzhong.com  client137  
192.168.1.138 client138.kongzhong.com  client138  
192.168.1.139 client139.kongzhong.com  client139

\# 启动测试一下

\[root@client137 ~\]\# /etc/init.d/mysql start  
Starting MySQL.... SUCCESS!  
\[root@client137 ~\]\# chkconfig mysql on

5.设置MariaDB的root密码，并做安全加固

\[root@client137 ~\]\#  /usr/bin/mysql\_secure\_installation

\# 登陆数据库，授权用于集群同步的用户和密码

\[root@client137 ~\]\# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON \*.\* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on \*.\* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

\# 创建并配置wsrep.cnf文件

\[root@client137 ~\]\# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/  
\[root@client137 ~\]\# vim /etc/my.cnf.d/wsrep.cnf

\# 只需要修改如下4行:

wsrep\_provider=/usr/lib64/galera/libgalera\_smm.so

wsrep\_cluster\_address="gcomm://"

wsrep\_sst\_auth=sst:sstpass123

wsrep\_sst\_method=rsync

\# 注意:

\#    "gcomm://" 是特殊的地址,仅仅是Galera cluster初始化启动时候使用。

\#    如果集群启动以后，我们关闭了第一个节点，那么再次启动的时候必须先修改，"gcomm://"为其他节点的集群地址,例如wsrep\_cluster\_address="gcomm://192.168.1.138:4567"

6.确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口\[也可以关闭防火墙\]

\[root@client137 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT  
\[root@client137 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

\# 启动mariadb，查看3306和4567端口是否被监听

\[root@client137 ~\]\# /etc/init.d/mysql restart

\--如果报错 如：

\[ERROR\] WSREP: wsrep\_load(): dlopen(): libssl.so.6: cannot open shared object file: No such file or directory

ln -sf /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.6

`ln``-sf ``/usr/lib64/libcrypto``.so.10 ``/usr/lib64/libcrypto``.so.6`

\[root@client137 ~\]\# netstat -tulpn |grep -e 4567 -e 3306  
tcp        0      0 0.0.0.0:3306                0.0.0.0:\*                   LISTEN      32363/mysqld  
tcp        0      0 0.0.0.0:4567                0.0.0.0:\*                   LISTEN      32363/mysqld

\# 这样一个节点就已经配置完成，其他节点的配置先给个思路，如下注释部分：

\#　\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*　\#

构造新节点的操作步骤如下:

1.按照上述1-6的步骤安装MariaDB和Galera library

2.除了第5步wsrep\_cluster\_address的配置稍有不同:

wsrep\_cluster\_address="gcomm://Node-A-IP:4567"  \# 这里指向是指上一层的集群地址

3.重起MariaDB

\#　\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*　\#

7.新添加节点的配置如下：

\# 构建192.168.1.138节点

\[root@client138 ~\]\# /etc/init.d/mysql start  
Starting MySQL.... SUCCESS!  
\[root@client138 ~\]\#   /usr/bin/mysql\_secure\_installation

\[root@client138 ~\]\# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON \*.\* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on \*.\* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

\[root@client138 ~\]\# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/  
\[root@client138 ~\]\# vim /etc/my.cnf.d/wsrep.cnf

\# 只需要修改如下4行:

wsrep\_provider=/usr/lib64/galera/libgalera\_smm.so

\# 这里指定上一个集群节点的IP地址

wsrep\_cluster\_address="gcomm://192.168.1.137:4567"

\# 指定用于同步的账号和密码

wsrep\_sst\_auth=sst:sstpass123

wsrep\_sst\_method=rsync

\# 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口

\[root@client138 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT  
\[root@client138 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

\# 启动，监听

/usr/local/mariadb/bin/mysqld\_safe  --defaults-file=/data0/mysql/9000/galera.cnf --basedir=/usr/local/mariadb --datadir=/data0/mysql/9000 --ledir=/usr/local/mariadb/bin  --user=mysql

\[root@client138 ~\]\# /etc/init.d/mysql restart

\[root@client138 ~\]\# netstat -tulpn |grep -e 4567 -e 3306  
tcp        0      0 0.0.0.0:3306                0.0.0.0:\*                   LISTEN      32363/mysqld  
tcp        0      0 0.0.0.0:4567                0.0.0.0:\*                   LISTEN      32363/mysqld

\# 构建192.168.1.139节点

\[root@client139 ~\]\# /etc/init.d/mysql start  
Starting MySQL.... SUCCESS!  
\[root@client139 ~\]\#   /usr/bin/mysql\_secure\_installation

\[root@client139 ~\]\# mysql -uroot -pkongzhong

mysql> GRANT USAGE ON \*.\* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on \*.\* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

\[root@client139 ~\]\# cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/  
\[root@client139 ~\]\# vim /etc/my.cnf.d/wsrep.cnf

\# 只需要修改如下4行:

wsrep\_provider=/usr/lib64/galera/libgalera\_smm.so

\# 这里指定上一个集群节点的IP地址

wsrep\_cluster\_address="gcomm://192.168.1.138:4567"

\# 指定用于同步的账号和密码

wsrep\_sst\_method=rsync

\# 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口

\[root@client139 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT  
\[root@client139 ~\]\# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT

\# 启动，并查看监听

\[root@client139 ~\]\# /etc/init.d/mysql restart

\[root@client139 ~\]\# netstat -tulpn |grep -e 4567 -e 3306  
tcp        0      0 0.0.0.0:3306                0.0.0.0:\*                   LISTEN      32363/mysqld  
tcp        0      0 0.0.0.0:4567                0.0.0.0:\*                   LISTEN      32363/mysqld

8.以上配置完成后，

对于只有2个节点的Galera Cluster和其他集群软件一样，需要面对极端情况下的"脑裂"状态。

为了避免这种问题，Galera引入了"arbitrator(仲裁人)"。

"仲裁人"节点上没有数据,它在集群中的作用就是在集群发生分裂时进行仲裁，集群中可以有多个"仲裁人"节点。

"仲裁人"节点加入集群的方法如下:

\[root@client137 ~\]\# garbd -a gcomm://192.168.1.137:4567 -g my\_wsrep\_cluster -d

\# 注释：参数说明 :

-d：以daemon模式运行

-a：集群地址

-g： 集群名称

9.测试集群是否配置好参数：

登陆数据库：

查看如下几个参数：

\# 下面这个参数的显示是初始化数据库显示的情况

\# 如果配置了指向集群地址，上面那个参数值，应该是你指定集群的IP地址  
MariaDB \[kz\]> SHOW VARIABLES LIKE 'wsrep\_cluster\_address';  
\+-----------------------+----------------------------+  
| Variable\_name         | Value                      |  
\+-----------------------+----------------------------+  
| wsrep\_cluster\_address | gcomm://192.168.1.139:4567 |  
\+-----------------------+----------------------------+  
1 row in set (0.00 sec)  
\# 此参数查看是否开启  
MariaDB \[kz\]> show status like 'wsrep\_ready';  
\+---------------+-------+  
| Variable\_name | Value |  
\+---------------+-------+  
| wsrep\_ready   | ON    |  
\+---------------+-------+  
1 row in set (0.00 sec)

\# 这个查看wsrep的相关参数

MariaDB \[terry\]> show status like 'wsrep%';

\+----------------------------+--------------------------------------+

| Variable\_name              | Value                                |

\+----------------------------+--------------------------------------+

| wsrep\_local\_state\_uuid     | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集群唯一标记

| wsrep\_protocol\_version     | 4                                    |

| wsrep\_last\_committed       | 16                                   | sql 提交记录

| wsrep\_replicated               | 4                                     | 随着复制发出的次数

| wsrep\_replicated\_bytes      | 692                                  | 数据复制发出的字节数

| wsrep\_received                 | 18                                    | 数据复制接收次数

| wsrep\_received\_bytes        | 3070                                 | 数据复制接收的字节数

| wsrep\_local\_commits         | 4                                      | 本地执行的 sql

| wsrep\_local\_cert\_failures    | 0                                      | 本地失败事务

| wsrep\_local\_bf\_aborts        | 0                                      |从执行事务过程被本地中断

| wsrep\_local\_replays           | 0                                      |

| wsrep\_local\_send\_queue     | 0                                     | 本地发出的队列

| wsrep\_local\_send\_queue\_avg | 0.142857                       | 队列平均时间间隔

| wsrep\_local\_recv\_queue     | 0                                      | 本地接收队列

| wsrep\_local\_recv\_queue\_avg | 0.000000                        | 本地接收时间间隔

| wsrep\_flow\_control\_paused  | 0.000000                         |

| wsrep\_flow\_control\_sent    | 0                                      |

| wsrep\_flow\_control\_recv    | 0                                    |

| wsrep\_cert\_deps\_distance   | 0.000000                          | 并发数量

| wsrep\_apply\_oooe           | 0.000000                             |

| wsrep\_apply\_oool           | 0.000000                             |

| wsrep\_apply\_window         | 1.000000                             |

| wsrep\_commit\_oooe          | 0.000000                             |

| wsrep\_commit\_oool          | 0.000000                             |

| wsrep\_commit\_window        | 1.000000                             |

| wsrep\_local\_state          | 4                                    |

| wsrep\_local\_state\_comment  | Synced                               |

| wsrep\_cert\_index\_size      | 0                                    |

| wsrep\_causal\_reads         | 0                                    |

| wsrep\_incoming\_addresses   | 192.168.1.137:3306    | 连接中的数据库

| wsrep\_cluster\_conf\_id      | 18                                   |

| wsrep\_cluster\_size         | 2                                    | 集群成员个数

| wsrep\_cluster\_state\_uuid   | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集群 ID

| wsrep\_cluster\_status       | Primary                              | 主服务器

| wsrep\_connected            | ON                                   | 当前是否连接中

| wsrep\_local\_index          | 1                                    |

| wsrep\_provider\_name        | Galera                               |

| wsrep\_provider\_vendor      | Codership Oy <info@codership.com>    |

| wsrep\_provider\_version     | 2.7(rXXXX)                           |

| wsrep\_ready                | ON                                   | 插件是否应用中

\+----------------------------+--------------------------------------+

40 rows in set (0.05 sec)

\#以上详细参数注释：

监控状态参数说明:

(1).集群完整性检查:

wsrep\_cluster\_state\_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.

wsrep\_cluster\_conf\_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时"分区"了.当节点之间网络连接恢复的时候应该会恢复一样的值.

wsrep\_cluster\_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.

wsrep\_cluster\_status:集群组成的状态.如果不为"Primary",说明出现"分区"或是"split-brain"状况.

(2).节点状态检查:

wsrep\_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep\_connected.

wsrep\_connected: 如果该值为Off,且wsrep\_ready的值也为Off,则说明该节点没有连接到集群.

wsrep\_local\_state\_comment:如果wsrep\_connected为On,但wsrep\_ready为OFF,则可以从该项查看原因.

(3).复制健康检查:

wsrep\_flow\_control\_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep\_slave\_threads的值来改善.

wsrep\_cert\_deps\_distance:有多少事务可以并行应用处理.wsrep\_slave\_threads设置的值不应该高出该值太多.

wsrep\_flow\_control\_sent:表示该节点已经停止复制了多少次.

wsrep\_local\_recv\_queue\_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.

最慢的节点的wsrep\_flow\_control\_sent和wsrep\_local\_recv\_queue\_avg这两个值最高.这两个值较低的话,相对更好.

(4).检测慢网络问题:

wsrep\_local\_send\_queue\_avg:网络瓶颈的预兆.如果这个值比较高的话,可能存在网络瓶

(5).冲突或死锁的数目:

wsrep\_last\_committed:最后提交的事务数目

wsrep\_local\_cert\_failures和wsrep\_local\_bf\_aborts:回滚,检测到的冲突数目

10.测试数据同步，一致等问题，这个测试不演示，概述一下大概思路：

(1).创建一个数据库，看是否同步

(2).数据库里分别创建一个innodb和myisam引擎的表，看是否同步

(3).分别往这两张表里插入数据，看是否同步，除innodb引擎数据可以同步，其余引擎是不同步

(4).在任意一节点插入，删除数据，看是否同步

11.在上面galera集群搭建完成后，我们可以借助于haproxy和lvs来实现mysql数据库集群之间的负载

这里就不演示，可以自己配置试试！

MariaDB Galera Cluster 安装

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 MySQL高可用(Galera Cluster)

相关 MariaDB Galera Cluster 安装

相关 MariaDB Galera Cluster 部署(mysql 集群部署)

相关 MySQL Galera Cluster集群+haproxy

相关离线安装Mysql Galera集群-Install MySQL Galera Cluster Offline

相关 galera cluster学习笔记

相关 Mysql galera cluster 集群笔记

相关【MySQL】数据库高可用方案（MariaDB Galera Cluster）

相关 Mysql高可用方案haproxy+keepalive+MariaDB Galera Cluster实现：MariaDB Galera Cluster部署（二）

相关 Mariadb Galera Cluster 搭建集群