MyCat 知识

墨蓝 2022-05-14 01:40 148阅读 0赞

### Mycat是什么 ###

MyCAT是mysql中间件，前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之，于是MyCAT扛起了这面大旗，在大数据时代，其重要性愈发彰显。

### 为什么使用MyCat ###

为了满足数据库数据大量存储，提高查询性能，将一个数据库的数据分散到不同的数据库中存储，为应对此问题就出现了——MyCat

### 支持的数据库 ###

mysql，sqlserver，mongoDB等

### Mycat原理 ###

可以用“拦截”一词形容，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析，如分片分析，路由分析，读写分离分析，缓存分析等，然后将此sql发往后端的真实数据库，并将返回的结果做适当处理，最终返回给用户。

### 分片 ###

数据库分片指：通过某种特定的条件，将我们存放在一个数据库中的数据分散存放在不同的多个数据库（主机）中，这样来达到分散单台设备的负载，根据切片规则，可分为以下两种切片模式：  
1. 垂直切片  
  将不同的表切分到不同的数据库中  
2. 水平切片  
  将同一种表按照某种条件切分到不同的数据库中（这种方式最常用）

MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法  
1. Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。  
2. Table：逻辑表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。  
3. DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上  
4. DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

### 配置文件详解 ###

mycat主要有3个配置文件，rule.xml,schema.xml和server.xml

##### 1. rule.xml（分片规则的配置文件） #####

该文件主要定义了分片的规则，这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function。

*  name：用户标识不同的分表规则
 *  columns：指定按哪一列进行拆分
 *  algorithm：该属性值为function标签中name的属性值，定义了连接表规则的具体的路由算法，多个表规则可以连接到同一个路由算法上

<function name="rang-long"
        class="org.opencloudb.route.function.AutoPartitionByLong">
        <property name="mapFile">autopartition-long.txt</property>
    </function>

*  name：标识算法的名字
 *  class：指定路由算法具体的类名字
 *  property：具体算法用到的一些属性

##### 2. schema.xml（逻辑库定义和表以及分片定义的配置文件） #####

该文件是MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource.

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> <table name="travelrecord" dataNode="dn1,dn2,dn3" <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" /> <table name="goods" primaryKey="ID" type="global" dataNode="dn1,dn2" /> </schema> <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost1" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100" maxRetryCount="4"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="192.168.0.184:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>

*  schema标签：定义mycat实例中的逻辑库
 *  table标签：定义mycat实例中的逻辑表
 *  dataNode标签：定义mycat中的数据节点，也是通常说的数据分片
 *  dataHost标签：作为最底层标签存在，定义了具体的真正存放数据的数据库实例，读写分离配置和心跳语句，这里只配了一个dataHost，如果你配了N个主机，就要配N个dataHost节点

##### 3. server.xml（Mycat服务器参数调整和用户授权的配置文件） #####

<!DOCTYPE mycat:server SYSTEM "server.dtd">
    <mycat:server xmlns:mycat="http://org.opencloudb/">
        <system>
       <property name="nonePasswordLogin">0</property> 
        </system>
        <user name="root" defaultAccount="true">
            <property name="password">123456</property>
            <property name="schemas">TESTDB</property>
        </user>
    </mycat:server>

###### system标签：内嵌的所有property标签都与系统配置有关 ######

######   user标签 ######

*  name：逻辑用户名，即登录mycat的用户名
 *  password：逻辑密码，即登录mycat的用户名对应的密码
 *  schemas：逻辑数据库，可配置多个，用英文逗号隔开，对应于schema.xml文件中配置的逻辑数据库，两者对应
 *  readOnly：该数据库是否为只读，如果true就是只读

### 使用Mycat ###

1.  把MyCat的压缩包上传到linux服务器
2.  解压缩 tar zxf 压缩包名称
3.  进入mycat目录，创建logos/mycat.pid

mkdir logs
    cd logs
    touch mycat.pid

1.  进入mycat/bin目录

启动命令：./mycat start 停止命令：./mycat stop 重启命令：./mycat restart

1.  mycat连接mysql数据库

mysql -uroot -p123456 -h192.168.0.184 -P8066 -DTESTDB

**8066是mycat的监听端口，类似于mysql的3306端口，其中-u，-p，-h分别是用户名，密码和主机，-D是连接的逻辑库。**

1.  创建表

create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);

1.  插入数据

mysql>  insert into travelrecord(id,user_id,traveldate,fee,days)  values(1,'Victor',20160101,100,10);
    Query OK, 1 row affected (0.58 sec)
    
    mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(5000001,'Job',20160102,100,10);
    Query OK, 1 row affected (0.01 sec)
    
    mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(10000001,'Slow',20160103,100,10);
    Query OK, 1 row affected (0.01 sec)

1.  查看分片结果

mysql> select * from db1.travelrecord; +----+---------+------------+------+------+
    | id | user_id | traveldate | fee | days | +----+---------+------------+------+------+
    | 1 | Victor | 2016-01-01 | 100 | 10 | +----+---------+------------+------+------+
    1 row in set (0.00 sec)
    
    mysql> select * from db2.travelrecord; +---------+---------+------------+------+------+
    | id | user_id | traveldate | fee | days | +---------+---------+------------+------+------+
    | 5000001 | Job | 2016-01-02 | 100 | 10 | +---------+---------+------------+------+------+
    1 row in set (0.00 sec)
    
    mysql> select * from db3.travelrecord; +----------+---------+------------+------+------+
    | id | user_id | traveldate | fee | days | +----------+---------+------------+------+------+
    | 10000001 | Slow | 2016-01-03 | 100 | 10 | +----------+---------+------------+------+------+
    1 row in set (0.00 sec)

1.  explain命令查看create语句和insert语句具体会分配到哪些Datanode上

mysql> explain create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int); +-----------+-----------------------------------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL | +-----------+-----------------------------------------------------------------------------------------------------------------------+
    | dn1       | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) | | dn2 | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) |
    | dn3 | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) | +-----------+-----------------------------------------------------------------------------------------------------------------------+
    3 rows in set (0.34 sec)
    
    mysql> explain insert into travelrecord(id,user_id,traveldate,fee,days) values(1,'Victor',20160101,100,10); +-----------+----------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL | +-----------+----------------------------------------------------------------------------------------------+
    | dn1 | insert into travelrecord(id,user_id,traveldate,fee,days) values(1,'Victor',20160101,100,10) | +-----------+----------------------------------------------------------------------------------------------+
    1 row in set (0.05 sec)
    
    mysql> explain insert into travelrecord(id,user_id,traveldate,fee,days) values(5000001,'Job',20160102,100,10); +-----------+-------------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL | +-----------+-------------------------------------------------------------------------------------------------+
    | dn2 | insert into travelrecord(id,user_id,traveldate,fee,days) values(5000001,'Job',20160102,100,10) | +-----------+-------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)
    
    mysql> explain insert into travelrecord(id,user_id,traveldate,fee,days) values(10000001,'Slow',20160103,100,10); +-----------+---------------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL | +-----------+---------------------------------------------------------------------------------------------------+
    | dn3 | insert into travelrecord(id,user_id,traveldate,fee,days) values(10000001,'Slow',20160103,100,10) | +-----------+---------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)