Mysql 集群和主从复制

冷不防 2023-05-30 06:00 13阅读 0赞

### 一、简介 ###

1.1主从（Master-Slave）

*  主从之间是通过mysql的replication来保证数据的一致性。相对mysql cluster的数据同步方式来讲是异步的。
 *  Replication：主节点要开启binlog，设置一个唯一的服务器id（局域网内唯一）；从节点设置服务器id，binlog记录了master上的所有操作，会被复制到从节点的relaylog并在从节点上回放。  
    ![在这里插入图片描述][70]

1.2集群（cluster）

*  MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案，其目的是提供容错性和高性能。
 *  通过多个MySQL服务器分配负载，从而最大程序地达到高性能，通过在不同位置存储数据保证高可用性和冗余。
 *  MySQL群集中有三种节点：管理节点、数据节点和SQL节点。群集中的某计算机可能是某一种节点，也可能是两种或三种节点的集合。这三种节点只是在逻辑上的划分，所以它们不一定和物理计算机是一一对应的关系。

> 管理节点：也可以称管理服务器，主要负责管理数据节点和SQL节点，还有集群配置文件和集群日志文件。它监控其他节点的工作状态，能够启动、关闭或者重启某个节点。其他节点从管理节点检索配置数据，当数据节点有新事件就把事件信心发送给管理节点并写入集群日志。

> 数据节点用于存储数据，使用内存存放数据，保存进数据节点的数据都会自动复制并存储到其他数据节点。

> SQL节点可以理解为应用程序和数据节点的一个桥梁，应用程序不能直接访问数据节点，只能先访问SQL节点，然后SQL节点再去访问数据节点来返回数据，Cluster中可以有多个SQL节点，通过每个SQL节点查询到的数据都是一致的，一般来说，SQL节点越多，分配到每个SQL节点的负载就越小，系统的整体性能就越好；

### 二、使用 ###

2.1主从复制类型

1.  基于语句的复制（statement）  
    在Master上执行的SQL语句，在Slave上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。
2.  基于行的复制（row）  
    把改变的内容复制到Slave，而不是把命令在Slave上执行一遍。从MySQL5.0开始支持。
3.  混合类型的复制（mixed）  
    默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

2.1.1 keepalived + 双主

*  Keepalived+mysql双主来实现MySQL-HA，基本思路是两台MySQL互为主从关系，通过Keepalived配置虚拟IP（**VIP**），实现当其中的一台MySQL数据库宕机后，应用能够自动切换到另外一台MySQL数据库，保证系统的高可用。
 *  其中HA（HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点）。

2.1.2 配置两台mysql主主同步

1.  第一步，master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后，master通知存储引擎提交事务。
2.  第二步，是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经同步了master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。
3.  第三步，SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。

> 主主同步就是两台机器互为主的关系，在任何一台机器上写入都会同步。  
> 若mysql主机开启了防火墙，需要关闭防火墙或创建规则。

*  总结：Keepalived+mysql双主一般来说，中小型规模的时候，采用这种架构是最省事的。  
    在master节点发生故障后，利用keepalived的高可用机制实现快速切换到备用节点。

2.2 集群部署

2.2.1 准备

*  MySQL群集中有三种节点：管理节点、数据节点和SQL节点。

2.2.2 架构图及说明

![在这里插入图片描述][70 1]

### 三、结束 ###

1.  在复制系统中,一个MySQL主服务器会更新一个或多个从服务器.事务是顺序地提交的,因此一个慢事务就可能导致从服务器比主服务器落后一段时间.这也意 味着,如果主服务器出错失败了,那么从服务器可能会缺少记录最后的那一小部分事务日志.如果使用的是事务安全存储引擎的话,例如InnoDB, 那么事务日志则会完全记录到从服务器上去或者完全不记录,但是复制不能保证主和从服务器上的数据总是保持一致性.在MySQL集群中,所有的数据总是保持 同步,在任何数据节点上提交的事务都同步到所有其他的数据节点上了.如果有一个数据节点失败了,其他正常的数据节点照样能保持数据的一致性.

*  MySQL Cluster 使用了一个专用的基于内存的存储引擎（NDB引擎），这样做的好处是速度快， 没有磁盘I/O的瓶颈，但是由于是基于内存的，所以数据库的规模受系统总内存的限制，如果运行NDB的MySQL服务器一定要内存够大，比如4G, 8G, 甚至16G。NDB引擎是分布式的，它可以配置在多台服务器上来实现数据的可靠性和扩展性，理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。
 *  优点：  
    a) 99.999%的高可用性  
    b)快速的自动失效切换  
    c)灵活的分布式体系结构，没有单点故障  
    d)高吞吐量和低延迟  
    e)可扩展性强，支持在线扩容
 *  缺点：  
    a)存在很多限制，比如：不支持外键  
    b)部署、管理、配置很复杂  
    c)占用磁盘空间大，内存大  
    d)备份和恢复不方便  
    e)重启的时候，数据节点将数据load到内存需要很长时间

参考：

1.  [http://rainbowhorse.site/2018/04/17/MySQL主从复制/][http_rainbowhorse.site_2018_04_17_MySQL]
2.  [https://blog.csdn.net/Alen\_Liu\_SZ/article/details/79465021][https_blog.csdn.net_Alen_Liu_SZ_article_details_79465021]

### 公众号：程序员面试经验分享(jobbible) ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hlbmdsdg_size_16_color_FFFFFF_t_70][]

[70]: https://img-blog.csdn.net/20181007223130282?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1OTU4Nzg4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/20181008181246707?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1OTU4Nzg4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[http_rainbowhorse.site_2018_04_17_MySQL]: http://rainbowhorse.site/2018/04/17/MySQL%E4%B8%BB%E4%BB%8E%E5%A4%8D%E5%88%B6/
[https_blog.csdn.net_Alen_Liu_SZ_article_details_79465021]: https://blog.csdn.net/Alen_Liu_SZ/article/details/79465021
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hlbmdsdg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191015164521694.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hlbmdsdg==,size_16,color_FFFFFF,t_70