docker容器搭建MySQL集群，mysql主从同步

落日映苍穹つ 2024-03-27 11:01 92阅读 0赞

## 一：MySQL集群介绍 ##

### 1.1 MySQL集群的目标 ###

• **高可用**（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。  
• **突破数据量限制**，一台服务器不能储存大量数据，需要多台分担，每个存储一部分，共同存储完整个集群数据。最好能做到互相备份，即使单节点故障，也能在其他节点找到数据。  
• **数据备份容灾**，单点故障后，存储的数据仍然可以在别的地方拉起。  
• **压力分担**，由于多个服务器都能完成各自一部分工作，所以尽量的避免了单点压力的存在

### 1.2 MySQL集群的基础形式 ###

1）主从式  
主从复制，同步方式  
主从调度，控制方式  
![在这里插入图片描述][98fe8bcb14d44ccaa2e013a0664676f1.png]

2）分片式  
数据分片存储  
片区之间备份  
![在这里插入图片描述][4bb4358f2bc0402298e22ca9befc4066.png]  
3）选主式  
为了容灾选主  
为了调度选主  
![在这里插入图片描述][f1f319ffc46d41c6a2401b29753dde29.png]

### 1.3 MySQL集群原理 ###

#### 1.3.1 MySQL-MMM ####

MySQL-MMM 是 Master-Master Replication Manager for MySQL（mysql 主主复制管理器）的简称，是 Google 的开源项目（Perl 脚本）。MMM 基于 MySQLReplication 做的扩展架构，主要用来监控 mysql 主主复制并做失败转移。其原理是将真实数据库节点的IP（RIP）映射为虚拟 IP（VIP）集。mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 mysql 之上，当某一台 mysql 宕机时，监管会将 VIP迁移至其他 mysql。在整个监管过程中，需要在 mysql 中添加相关授权用户，以便让 mysql 可以支持监理机的维护。授权的用户包括一个mmm\_monitor 用户和一个 mmm\_agent 用户，如果想使用 mmm 的备份工具则还要添加一个 mmm\_tools 用户。  
![在这里插入图片描述][cad82cd2e0a64c759de6c95c0c0e112c.png]  
解析：master1和master2是主节点，slave是从节点，monitor是监控器。monitor会创建三个虚拟ip集，master1主要进行增删改操作，master2和slave主要进行读操作。所以master1和master2、slave就实现了读写分离。如果此时monitor监控器检测到master1宕机了，此时客户端连接的ip仍然是master1的，但监控器已经将我们master1的ip漂移到master2上了，此时master2也具备增删改功能。下一次当master1修复好以后就会作为从节点从master2里面获取数据，master1和master2就是双主复制。

#### 1.3.2 MHA（Master High Availability） ####

MHA（Master High Availability）目前在 MySQL 高可用方面是一个相对成熟的解决方案, 由日本 DeNA 公司 youshimaton（现就职于 Facebook 公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操作（以 2019 年的眼光来说太慢了），并且在进行故障切换的过程中，MHA 能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

#### 1.3.3 InnoDB Cluster ####

InnoDB Cluster 支持自动 Failover、强一致性、读写分离、读库高可用、读请求负载均衡，横向扩展的特性，是比较完备的一套方案。但是部署起来复杂，想要解决 router单点问题好需要新增组件，如没有其他更好的方案可考虑该方案。 InnoDB Cluster 主要由 MySQL Shell、MySQL Router 和 MySQL 服务器集群组成，三者协同工作，共同为MySQL 提供完整的高可用性解决方案。MySQL Shell 对管理人员提供管理接口，可以很方便的对集群进行配置和管理,MySQL Router 可以根据部署的集群状况自动的初始化，是客户端连接实例。如果有节点 down 机，集群会自动更新配置。集群包含单点写入和多点写入两种模式。在单主模式下，如果主节点 down 掉，从节点自动替换上来，MySQL Router 会自动探测，并将客户端连接到新节点。  
![在这里插入图片描述][c0d44d13b92248aeaa74debcd5313681.png]

#### 1.3.4 企业级解决方案 ####

![在这里插入图片描述][7c38531e1a9b4bf6a2b4b2890f8d7fbd.png]  
流程：用户连接数据库代理引擎（MyCat、dbproxy）作为后端数据库的代理，写数据交给主节点，读数据交给从节点。如果发生宕机，从节点就会同步主节点数据，而且从节点也会进行角色区分，例如前三个从节点负责大并发请求，包括商品查询之类的，将请求平均分配到这三个从节点上。此时后台管理系统的数据库就部署在slave4上，使其不会因为前端的高并发而影响我们的后台系统。而slave5主要进行数据备份，在其他节点宕机的情况下不会使我们的服务终止。而且从节点主要从主节点同步数据，我们提供一个备用主节点。当数据量足够大的情况下对主节点进行分片存储。

## 二：Docker 安装模拟 MySQL 主从复制集群 ##

### 2.1 创建master实例并启动 ###

docker run -p 3316:3306 --name mysql-master -v /data/mydata/mysql/master/log:/var/log/mysql -v /data/mydata/mysql/master/data:/var/lib/mysql -v /data/mydata/mysql/master/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7

`docker logs -f 容器id` \#查看容器运行状态  
**1）参数说明**  
\-p 3307:3306：将容器的 3306 端口映射到主机的 3307 端口  
\-v /mydata/mysql/master/conf:/etc/mysql：将配置文件夹挂在到主机  
\-v /mydata/mysql/master/log:/etc/mysql/conf.d：将日志文件夹挂载到主机  
\-v /mydata/mysql/master/data:/var/lib/mysql/：将配置文件夹挂载到主机  
\-e MYSQL\_ROOT\_PASSWORD=root：初始化 root 用户的密码  
**2）修改 master 基本配置**  
`vim /data/mydata/mysql/master/conf/my.cnf`  
加入如下配置

[client]
    default-character-set=utf8
    [mysql]
    default-character-set=utf8
    [mysqld]
    init_connect='SET collation_connection = utf8_unicode_ci' 
    init_connect='SET NAMES utf8' 
    character-set-server=utf8
    collation-server=utf8_unicode_ci
    skip-character-set-client-handshake
    skip-name-resolve

注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢  
**3）添加 master 主从复制部分配置**

server_id=1
    log-bin=mysql-bin
    read-only=0
    
    binlog-do-db=gulimail_ums
    binlog-do-db=gulimail_pms
    binlog-do-db=gulimail_oms
    binlog-do-db=gulimail_sms
    binlog-do-db=gulimail_wms
    binlog-do-db=gulimail_admin
    
    
    replicate-ignore-db=mysql
    replicate-ignore-db=sys
    replicate-ignore-db=information_schema
    replicate-ignore-db=performance_schema

### 2.2 创建slaver实例并启动 ###

**1）创建实例**

docker run -p 3317:3306 --name mysql-slaver-01 -v /data/mydata/mysql/slaver/log:/var/log/mysql -v /data/mydata/mysql/slaver/data:/var/lib/mysql -v /data/mydata/mysql/slaver/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7

**2）修改 slave 基本配置**  
`vim /data/mydata/mysql/slaver/conf/my.cnf`  
加入如下配置

注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢  
**3）添加 slaver主从复制部分配置**

server_id=2
    log-bin=mysql-bin
    read-only=1
    
    binlog-do-db=gulimail_ums
    binlog-do-db=gulimail_pms
    binlog-do-db=gulimail_oms
    binlog-do-db=gulimail_sms
    binlog-do-db=gulimail_wms
    binlog-do-db=gulimail_admin
    
    replicate-ignore-db=mysql
    replicate-ignore-db=sys
    replicate-ignore-db=information_schema
    replicate-ignore-db=performance_schema

注：每个服务器的server\_id要不一样,read-only=1表示只读  
**重启master和slaver**

docker restart mysql-master mysql-slaver-01

![在这里插入图片描述][76bfb3ba94514806a752f41c8089df9f.png]

### 2.3 为 master 授权用户来他的同步数据 ###

### 2.3.1 通过远程工具连接master和slaver ###

![在这里插入图片描述][0f34831965144c929f7c00b20c43ebc6.png]

### 2.3.2 在master中授权一个账户 ###

**作用：授权一个账户，可以访问主节点，进行日志复制**  
1、进入 master容器  
`docker exec -it mysql-master /bin/bash`  
2）mysql8.0版本以下  
`GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456'`  
3）mysql8.0版本以上  
`CREATE USER 'backup'@'%' IDENTIFIED BY '123456';`  
`alter user 'backup'@'%' identified with mysql_native_password by '123456';`  
4）查看 master 状态  
`show master status;`  
![在这里插入图片描述][222d06200fd4416b9c7c3ae400970b20.png]  
file：二进制日志名称

#### 2.3.3 配置 slaver 同步 master 数据 ####

1）进入 slaver 容器  
`docker exec -it mysql-slaver-01 /bin/bash`  
2）设置主库连接  
`change master to master_host='127.0.0.1',master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=0,master_port=3316;`  
作用：告诉mysql，slaver需要连接那个master节点  
![在这里插入图片描述][e874f9e93a3c410b9e946584957cb7ff.png]  
3）启动从库同步  
作用：从库开启备份主库功能  
`start slave`  
如果不想继续同步，则使用`stop slave`  
4）查看从库状态  
`show slave status`  
![在这里插入图片描述][02b892edaaa44fbda55e2f33bfa25e7b.png]  
5）Slave\_IO\_Running: No问题排查

1.  可能原因一：MySQL的uuid是唯一的，查看主从机器的uuid是否唯一。  
    查看文件：/var/lib/mysql/auto.cnf  
    查看结果：主从机器的uuid不一样，此可能性被排除。
2.  可能原因二：确认server-id是否唯一。  
    查看文件：/etc/mysql/my.cnf  
    查看结果：主从机器的server-id唯一，此可能性被排除。
3.  可能性三：因为从库MySQL重启导致二进制文件位置从库和主库不一致  
    主库：show master status\\G  
    从库：show slave status\\G

#### 2.3.4 将数据库进行导入 ####

1）在master节点中导入数据库  
![在这里插入图片描述][fa8ee13cd6af490e899ac00f614f7af4.png]  
2）刷新slave查看数据库是否同步过来  
此时：主从复制就已经搭建完成

[98fe8bcb14d44ccaa2e013a0664676f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/aef875cb19404af1a3ea4bdaa60d7311.png
[4bb4358f2bc0402298e22ca9befc4066.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/eeeeb66cda774ecdb94d014bfc628275.png
[f1f319ffc46d41c6a2401b29753dde29.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4e03ca55f91f4b26879a226c974a8ecb.png
[cad82cd2e0a64c759de6c95c0c0e112c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ba714dbf7b8b48bf8414c833b47ea766.png
[c0d44d13b92248aeaa74debcd5313681.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/7256b982e3784050a360ee49fc0b751e.png
[7c38531e1a9b4bf6a2b4b2890f8d7fbd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8acdd24779c3455fab24d1cff79330e9.png
[76bfb3ba94514806a752f41c8089df9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f588f23893ce46b5bc96a401e82d947a.png
[0f34831965144c929f7c00b20c43ebc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8b9a667a48914d31b4976bdd204be1d1.png
[222d06200fd4416b9c7c3ae400970b20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c76bbb87e77a463b8c81fa327cfe02f0.png
[e874f9e93a3c410b9e946584957cb7ff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dbdf11c190e74c7a8aedefb6c8adc2fd.png
[02b892edaaa44fbda55e2f33bfa25e7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/787a1e65c01645ae8546f156fbfa76e2.png
[fa8ee13cd6af490e899ac00f614f7af4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d80609fd15f645a49a6e65d6a900e2cc.png