mysql高级技术之mycat读写分离技术实践

àì夳堔傛蜴生んèń 2023-09-29 13:06 2阅读 0赞

1，课程回顾

2，本章重点

mysql 主从原理，好处
    
      mycat 概念，读写分离好处，读写分离的实现

3，具体内容

3.1 mysql 主从

3.1.1 linux下mysql安装

以mysql5.6为例

1）修改IP地址，修改主机名称

vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
        vim /etc/hostname

2）安装mysql

查看已经安装mysql组件：（centos6.9 需要卸载原来的mysql组件）

yum list installed | grep mysql
    
       卸载：
    
          yum -y remove mysql-libs.x86_64
    
     centos7.0之后，上面两句可以省略

如果wget没有安装

yum -y install wget

下载yum源

wget  [http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm](http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm)

安装yum源

rpm -ivh mysql-community-release-el6-5.noarch.rpm

查看yum源中mysql有效版本

yum repolist all | grep mysql

使用下载yum源安装

yum install mysql-community-server -y

查看mysql服务是否启动

service mysqld status

启动mysql服务

service mysqld start

使用mysql客户端命令，连接mysql，默认密码为空

mysql -u  root  -p     回车   再回车（默认密码为空）

查看所有数据库

show databases;

选择数据库：

use mysql;

查看所有表：

show tables;

查看表结构：

desc   user; //两个命令都可以
    
    describe  user;

修改密码（使用空密码不太好）：

update user set password=password('tiger')  where user='root';
    
     password('tiger') 加密，把tiger密码加密存储

刷新权限，让密码生效：

flush privileges;

退出：

quit

再次连接：

msyql  -uroot -ptiger;

远程使用navicat连接时报错（默认安装msql后，只允许localhost和127.0.0.1连接）：

![在这里插入图片描述][420b992491764ea9bec598795c2ab52e.png]

修改允许远程连接为统配符%，这样远程的IP就可以连接

update user set host=‘%’ where host=‘::1’;

刷新权限（让修改生效）：

flush privileges;

**3.1.2 mysql主从及双主双从配置**

1）双主双从规划图：

![在这里插入图片描述][8cb704aad8f64867aa1c907bb9797df0.png]

2）具体实现：

以mysql1为基础，克隆出mysql2,mysql3,mysql4 修改IP及主机名称
    
          vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
          vim /etc/hostname
    
    配置主从：
    
            master:
    
       主服务器上修改配置文件，添加日志操作
    
            vim /etc/my.cnf     mysql1操作
    
       修改第12行  binary.log 日志文件名称可以随便起
    
        log_bin=binary_log
    
       添加一行当前服务器唯一识别
    
        server-id=111
    
       重启服务，让修改生效
    
        service mysqld restart
    
       登录mysql
    
        mysql -uroot -ptiger
    
       查看master状态
    
        show master status;

![在这里插入图片描述][75f93a03808b4cacacd9e8665db79141.png]

slave：

vim /etc/my.cnf
    
    添加一行
    
      　server-id=112
    
    重启服务，让修改生效
    
         service mysqld restart
    
    登录mysql
    
       mysql -uroot -ptiger
    
    关闭slave(第一次操作不需要，但是以后如果修改该服务器为其他服务的从节点时，需要先停止slave服务)
    
      stop slave;
    
    配置当前服务器为master(111)服务器的从机
    
      change master to master_host='192.168.170.111',master_user='root',master_password='tiger',master_log_file='binlog.000001',master_log_pos=120;
    
     启动slave服务：
    
         start slave;
    
    查看slave的状态
    
         show slave status \G;
    
    没有错最好（两台机子都全新安装mysql）,克隆时，会报下面错误：
    
    Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.
    
    原因因为克隆机子，两边的sever-uuid完全一致，所以错误
    
    cat /var/lib/mysql/auto.cnf     在all session 中运行，发现4台mysql的uuid都一样     删除后3台的uuid 并重启服务
    
    在mysql2,mysql3,mysql4都执行：
    
          rm -rf /var/lib/mysql/auto.cnf
    
         service mysqld restart
    
     再次查看uuid是否一致（发现不同）：
    
         cat /var/lib/mysql/auto.cnf  
    
    在mysql2上再次连接
    
         mysql -uroot -ptiger
    
     再次执行命令，发现IO,SQL线程都是正常，说明主从配置成功
    
         show slave status \G;

![在这里插入图片描述][5d4c195a6d314b2e9205f20ffb7968bd.png]

测试主从：
    
          在mysql1上创建库，创建表，添加数据   发现mysql2都有!
    
    
    
     配置mysql3和mysql4主从：
    
           同上
    
     配置mysql1和mysql2互为主从：
    
          在mysql1和mysql3上， 新加一些配置
    
             vim /etc/my.cnf    
    
          在配置文件中添加（让从机作为其他主机的从机进行写操作时，该从机的从机也会进行写操作）
    
              log-slave-updates
    
          修改配置重启服务
    
    测试：     
    
     在mysql1和mysql3进行任意写操作，4台服务器都进行了同步

**3.1.3 主从配置原理**  
![在这里插入图片描述][4206b69f53244a15a21fc47f39c133fd.png]

1，主服务器（master）进行写操作时，会把所有的更新语句以二进制日志(binary log)的形式存储
    
                2，从服务器（slave）中有一个i/o线程，会读取主服务器上的二进制日志文件到中继文件中(relay log)
    
               3， 从服务器（slave）中另外一个sql线程，会读写中继文件中的语句，执行并持久化到从服务器的数据库文件中，从而实现了主从复制的功能

3.1.4 好处

负载均衡 ：业务量增大时，I/O读写频率变高，单机可能无法满足需求，使用主从，让从服务器分担读压力，实现负载均衡

数据备份 : 传统的备份，都是本地备份，但是存在弊端，无法防止服务器本身出问题，配置主从，可以把本地数据备份到其他服务器

提高可用性 ： 一旦主服务器出现问题，可以直接使用从服务器进行更新或者查询

**3.2 mycat 读写分离，自动容错**

**3.2.1 mycat 概念，原理**

概念：

mycat 是活跃的、性能好的数据库中间件，是mysql集群数据库中间件。基于心跳的自动故障切换，支持读写分离。支持分表分库。支持全局序列号，解决分布式下的主键生成问题。mycat 是阿里的开源数据库中间件cobar为基础，所以站在巨人肩膀。

原理：

Mycat 的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了。

Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了 一些特定的分析：如分片分析、路由分析、读写分离分析（看是select 还是 insert,update,delete操作）、缓存分析等，然后将此 SQL 发往后端的真实数据库， 并将返回的结果做适当的处理，最终再返回给用户。  
![在这里插入图片描述][7bbe7bfdcddf48c8b55f0f3725c92099.png]

**3.2.2 mycat 读写分离配置**

![在这里插入图片描述][317a977ca77d453e9aaced86999e8a4f.png]

1），拿最基础的机子克隆一台mycat服务器 ，修改IP，修改主机名称。

依赖jdk
    
              vim  /etc/sysconfig/network-scripts/ifcfg-ens33

vim /etc/hostname

2），下载，解压mycat，配置环境变量

从官网下载相关版本，使用xftp上传到linux服务器
    
        解压：
    
      tar -xzvf /root/software/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz  -C /usr/
    
        配置环境变量：
    
          vim /etc/profile
    
         复制下面内容：
    
    export MYCAT_HOME=/usr/mycat
    export PATH=$PATH:$JAVA_HOME/bin:$MYCAT_HOME/bin
    
        让配置文件生效：
        source /etc/profile
    
         测试：
    
         echo $MYCAT_HOME

3）, server.xml配置

server.xml 几乎保存了所有 mycat 需要的系统配置信息（全局配置，在server.xml配置可以全局产生影响）。其在代码内直接的映射类为 SystemConfig 类。server.xml 中的标签本就不多，这个标签主要用于定义登录 mycat 的用户（密码）和权限（能问那些表，以及针对该表的访问权限）。
    
    
    
         vim /usr/mycat/conf/server.xml

![在这里插入图片描述][8651285f244743eaa46343ffbfe05b79.png]  
![在这里插入图片描述][6a5ba8a0b47f449aa5f3ed9aea40f1ca.png]

4）, schema.xml配置

Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode（数据节点，分表分库专用） 以及 DataSource（数据源）。弄懂这些配置，是正确使用 MyCat 的前提。这里就一层层对该文件进行解析。
    
           vim /usr/mycat/conf/schema.xml
    
            ![图片]
            
    
    删除了6到32行
    
     底行模式中使用   :6,32d

http://dl.mycat.org.cn/mycat-definitive-guide.pdf

5）读写分离测试

3.2.3 mycat 读写分离，自动容错测试

让M1宕机     如果M1宕机，写操作切换到M2(第一个还生存writehost上),M2进行写操作，M2下的S2进行读  整个数据库不会宕机（注意：虽然S1正常，但S1包含M1下的读节点，所以S1不参与读）
    
          让M1恢复     M2继续写，M1,S1和S2参与读的负载均衡。。。。
    
       
    
       实践：
    
    在mysql1上执行：   service mysqld stop

– 执行查询

select \* from tb\_dept;

正常 ，但是所有的读数据都是S2的

– 继续执行添加

insert into tb\_dept(dname,loc) values(‘dev7’,‘zz7’);

insert into tb\_dept(dname,loc) values(‘dev8’,‘zz8’);

M1宕机恢复后

select \* from tb\_dept;

insert into tb\_dept(dname,loc) values(‘dev9’,‘zz9’);

insert into tb\_dept(dname,loc) values(‘dev10’,‘zz10’);

3.2.4 读写分离的好处

读写分离就是数据的写操作（insert udpate delete create alter drop等等）和查询（select等）让不同的数据库服务器执行。

数据库读写分离对于大型系统或者访问量(并发量)很高的互联网应用来说，是必不可少的一个重要功能。 从数据库的角度来说，对于大多数应用来说，从集中到分布，最基本的一个需求不是数据存储（写）的瓶颈，而是在于计算（读）的瓶颈，即SQL查询的瓶颈，我们知道，正常情况下，Insert SQL就是几十个毫秒的时间内写入完成，而系统中的大多数Select SQL则要几秒到几分钟才能有结果，很多复杂的SQL，其消耗服务器CPU的能力超强，不亚于死循环的威力。在没有读写分离的系统上，很可能高峰时段的一些复杂SQL查询就导致数据库服务器CPU爆表，系统陷入瘫痪，严重情况下可能导致数据库崩溃。

4，知识点总结

5，本章面试题

[420b992491764ea9bec598795c2ab52e.png]: https://img-blog.csdnimg.cn/420b992491764ea9bec598795c2ab52e.png
[8cb704aad8f64867aa1c907bb9797df0.png]: https://img-blog.csdnimg.cn/8cb704aad8f64867aa1c907bb9797df0.png
[75f93a03808b4cacacd9e8665db79141.png]: https://img-blog.csdnimg.cn/75f93a03808b4cacacd9e8665db79141.png
[5d4c195a6d314b2e9205f20ffb7968bd.png]: https://img-blog.csdnimg.cn/5d4c195a6d314b2e9205f20ffb7968bd.png
[4206b69f53244a15a21fc47f39c133fd.png]: https://img-blog.csdnimg.cn/4206b69f53244a15a21fc47f39c133fd.png
[7bbe7bfdcddf48c8b55f0f3725c92099.png]: https://img-blog.csdnimg.cn/7bbe7bfdcddf48c8b55f0f3725c92099.png
[317a977ca77d453e9aaced86999e8a4f.png]: https://img-blog.csdnimg.cn/317a977ca77d453e9aaced86999e8a4f.png
[8651285f244743eaa46343ffbfe05b79.png]: https://img-blog.csdnimg.cn/8651285f244743eaa46343ffbfe05b79.png
[6a5ba8a0b47f449aa5f3ed9aea40f1ca.png]: https://img-blog.csdnimg.cn/6a5ba8a0b47f449aa5f3ed9aea40f1ca.png