淘淘商城第116讲——使用Mycat实现读写分离

梦里梦外; 2022-11-20 01:55 101阅读 0赞

# 什么是读写分离呢？ #

在咱们的项目中，执行查询的命令要比执行修改、删除这些命令要多的多，所以为了保证数据库的读写性能和数据库的完整性，我们就需要实现数据库的读写分离了。

通俗的讲就是读取的命令在一个数据库中，而写入的命令在另外一个数据库中，而且这两个数据库中的数据必须同步。  
![在这里插入图片描述][20201122101655425.png_pic_center]

# 数据库读写分离的解决方案 #

## 解决方案一 ##

MySQL提供了一个解决方案，即使用binlog（二进制日志文件）进行数据库同步，只不过这种解决方案需要配置MySQL。

## 解决方案二 ##

我们可以在代码中实现读写分离，即可以使用aop实现一个切面，然后动态切换数据源，只不过这种解决方案需要编程实现。

## 解决方案三 ##

其实在代码中实现读写分离还有另外一种解决方案，即使用数据库中间件（例如Mycat）实现读写分离，不仅可以实现读写分离，还可以实现分库分表。

在本讲中，我们采用的就是这种解决方案来实现数据库的读写分离的。

# 使用Mycat实现读写分离 #

数据库读写分离对于大型系统或访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是**主从模式**，一个写节点Master后面跟着多个读节点，读节点的数据取决于系统的压力，通常是1~3个读节点的配置。

读写分离如果不用Mycat的话，那么就需要配置两套数据源了，读的时候用一套数据源，写的时候用另外一套数据源，然后配置数据库**主从复制**，然而这种做法无法进行分片，也就是说，当数据量很大时，依然会出现读取速度缓慢的现象。但是如果用了Mycat的话，那么我们就不用关心数据源的问题了，只须配置主从复制即可，而且还可以分片，操作也很简单，优势是相当明显的。

下面我们看下主从复制原理图，如下图所示，writeHost专门复制增删改操作，而readHost专门负责读操作，那么当我们向负责写的数据库中插入一条数据时，读数据库是如何知道我们插入了一条数据的呢？这其实用到了binlog文件，当有写操作时，会向binlog文件中记录相关操作，而readHost是可以读取到binlog文件的，从而可以根据binlog文件来实现数据同步。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center]  
那么问题来了，当我们有数据正在从写数据库同步到读数据库时，用户这时恰好要访问刚才插入的那条数据，会不会有问题呢？其实Mycat帮我们考虑到了这个问题，当有同步正在进行时，Mycat会让相关请求进行等待，等到同步完成后，再响应数据。这样，我们用户不用操心访问的到底是哪个数据库，而只需要通过Mycat来进行操作就可以了。

## MySQL的主从复制 ##

在使用Mycat实现数据库的读写分离之前，我们还得学习下学习MySQL的主从复制。

我们先来看下MySQL的主从复制原理图，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 1]  
MySQL的主从复制需要注意的地方有三点，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 2]  
注意，MySQL的主从复制与Mycat没有一毛钱的关系。

接下来，我就来教大家如何配置MySQL数据库主从复制。

### MySQL主服务器的配置 ###

首先，我得说明一点，本人将MySQL主服务器安装在了下图中的那台虚拟机上，而且这台虚拟机的ip地址是`192.168.81.137`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 3]  
然后我们就要来配置一下MySQL主服务器了，至于如何配置请参考下面的步骤。

第一步，修改/etc/my.cnf文件，在my.cnf文件中的`[mysqld]`下方添加如下一段配置。

# 指定binlog文件在哪个数据库上，此处指定在taotao1上，特别需要注意的是，这里只指定了对taotao1数据库进行主从复制，这也就意味着其它数据库是不能主从复制的
    binlog-do-db=taotao1
    # binlog忽略的数据库，这里忽略MySQL数据库本身带的mysql库
    binlog-ignore-db=mysql
    # 启用二进制日志
    log-bin=mysql-bin
    # 服务器唯一ID，一般取IP最后一段
    server-id=137

第二步，重启MySQL，使用的命令是`service mysql restart`。

第三步，连接上MySQL，然后创建一个用户，例如用户名为`backup`，密码为`123456`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 4]  
然后为新建的用户授权，允许主从复制。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 5]  
接着刷新一下权限。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 6]  
紧接着查看一下MySQL现在都有哪些用户。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 7]  
第四步，查询一下master的状态，其中Position的值是120（不是固定的），它非常重要，我们后面会用到。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 8]

### MySQL从服务器的配置 ###

首先，我得说明一点，本人将MySQL从服务器安装在了下图中的那台虚拟机上，而且这台虚拟机的ip地址是`192.168.81.129`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 9]  
然后我们就要来配置一下MySQL从服务器了，至于如何配置请参考下面的步骤。

第一步，修改/etc/my.cnf文件，在my.cnf文件中的`[mysqld]`下方添加如下一行配置。

# 服务器唯一ID，一般取IP最后一段
    server-id=129

第二步，重启MySQL，使用的命令是`service mysql restart`。

第三步，连接上MySQL，然后配置从服务器。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 10]  
由于这条指令太长了，所以将其贴出来，方便大家复制。

change master to master_host='192.168.81.137',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=120;

第四步，启动从服务器复制功能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 11]  
如果已经启动了slave，那么需要先关闭slave（使用的命令是`stop slave`），然后再启动。

第五步，检查从服务器复制功能的状态，执行的命令是`show slave status`，最好是使用MySQL的图形化开发工具（例如Navicat for MySQL）来执行该条命令，因为查询出来的结果集中的列非常多，使用工具查看会比较方便。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 12]

### 测试 ###

下面我们便来测试下MySQL的主从复制是否好用。

从上面知道，我们在主服务器的/etc/my.cnf文件中的`[mysqld]`下方添加如下一行配置。

binlog-do-db=taotao1

上面这行配置的意思是说主从服务器只针对名称为`taotao1`的数据库进行主从复制，其它数据库不能进行主从复制。

为了更直观地看到测试效果，我们先在主服务器中新建一个数据库，例如taotao1，并在该库中新建一张表，例如taotao\_user，建表语句如下：

CREATE TABLE `taotao_user` (
        `id` varchar(255) NOT NULL,
        `name` varchar(255) DEFAULT NULL,
        PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

**这里一定需要特别注意，一定要保证主库中的表在从库中存在，并且表名要相同！！！** 也就是说我们还得在从服务器中新建一个数据库，名称同样是taotao1，而且还要在该库中新建一张表，并且表名一定要是taotao\_user，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 13]  
然后向主库的表中插入一条数据，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 14]  
这时，如果你要是刷新一下从库中的表，那么你将会看到该表中也插入了同样的一条数据了，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 15]  
同理，删除一条主库表中的数据，从库表中的这条数据也会删除！这里我就不再演示了。

至此，MySQL主从复制的配置就圆满完成了。

## 在Mycat中配置读写分离 ##

Mycat 1.4支持MySQL主从复制状态绑定的读写分离机制，可以让读变得更加安全可靠。要想让Mycat支持这种读写分离机制，就得对其进行配置了。而且主要是在schema.xml文件进行配置，该文件位于`/usr/local/mycat/conf`目录下。

这里我主要是对name为localhost1的`<dataHost>`标签进行配置，配置之后的`<dataHost>`标签如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 16]  
readHost是从属于writeHost的，即意味着它从那个writeHost获取同步数据，因此，当它所属的writeHost宕机了，则它也不会再参与到读写分离中来，即"不工作了"，这是因为此时它的数据已经"不可靠"了。基于这个考虑，目前Mycat 1.3和1.4版本中，若想支持MySQL一主一从的标准配置，并且在主节点宕机的情况下，从节点还能读取数据，则需要在Mycat里配置为两个writeHost并设置banlance为1。

从以上配置中可以看到，Mycat心跳检查语句配置为了`show slave status`，而且还可以看到`<dataHost>`标签上定义了两个新属性，即`switchType="2"`与`slaveThreshold="100"`，此时这意味着开启了MySQL主从复制状态绑定的读写分离与切换机制。

Mycat心跳机制通过检测`show slave status`中的`Seconds_Behind_Master`、`Slave_IO_Running`、`Slave_SQL_Running`这三个字段来确定当前主从同步的状态以及Seconds\_Behind\_Master主从复制时延。

下面我对`<dataHost>`标签中的一些重要属性作了一点简要介绍。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 17]  
配置好schema.xml文件之后，重新启动Mycat，使用的命令是`./mycat restart`，这样Mycat便具有读写分离及分片功能了。

[20201122101655425.png_pic_center]: /images/20221120/20792fd6f90a4820a1b70a2746efcbd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/a2b621ae36c74992939bc17540cff1fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/36acc99d6e3d4737bd323860a24b78c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/202011221125052.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201122165206269.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201122165218348.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201122165227665.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20201122165236467.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20201122165245273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/20201122165257646.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 9]: https://img-blog.csdnimg.cn/20201122165310320.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 10]: https://img-blog.csdnimg.cn/2020112216532533.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 11]: https://img-blog.csdnimg.cn/20201122165338213.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 12]: https://img-blog.csdnimg.cn/20201122165351721.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 13]: https://img-blog.csdnimg.cn/20201122165405559.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 14]: https://img-blog.csdnimg.cn/20201122165415185.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 15]: https://img-blog.csdnimg.cn/20201122165423941.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 16]: https://img-blog.csdnimg.cn/20201122212608607.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U_size_16_color_FFFFFF_t_70_pic_center 17]: https://img-blog.csdnimg.cn/20201122212619701.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcmVueXVhbl9wa3U=,size_16,color_FFFFFF,t_70#pic_center