数据库切片

小灰灰 2022-05-26 12:19 102阅读 0赞

# 一、  概述 #

随着业务的扩大，数据量呈指数级增长。对于一些不便使用nosql的场景，关系型数据库难以满足快速查询和插入数据的需求。这就需要做数据库集群，将一个数据库中的数据分散到不同的数据库存储，这种分散数据库负载的技术是数据库分片。

数据的切分，根据切分规则的类型，可以分为两种切分模式。一种是按照不同的表来切分到不同的数据库，这种称为垂直切分或纵向切分。另一种是根据表中数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库机上面，这种称为水平切分或横向切分。

# 二、  mycat #

实现数据库分片涉及到查询数据库时查哪个库，插入数据时插入哪个库等麻烦的问题。使用mycat可以解决相关的问题。

mycat基于阿里的cobar。cobar擅长mysql数据库分片。mycat对cobar进行了重构，使用NIO重构了网络模块，优化了buffer内核，增强了聚合，join等基本特性，兼容大多数数据库。mycat，作为数据库中间件，支持mysql集群或者mariadb集群，提供高可用性数据分片集群，在使用上几乎与mysql无异。

mycat通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。

# 三、  mycat的安装 #

要求jdk1.7以上，mysql5.5以上。官网下载mycal，有windows版和linux版的，装法基本相同。

linux安装，将压缩包解压到/usr/local下。在bin目录下，./mycat  start，后台启动。mycat默认端口是8066。

# 四、  mycat的分片 #

创建三个数据库节点，分别创建数据库db1，db2，db3，将mycat安装到节点1上。

配置mycat的conf中的schema.xml文件。

在配置文件中，schema用于定义mycat实例中的逻辑库；table定义了mycat中的逻辑表；datanode定义了mycat中的数据节点，也就是数据分片；datahost在mycat逻辑库中也是作为最底层的标签，指定定义了具体的数据库实例、读写分离配置和心跳语句。

在linux版本的mysql中，需要配置mysql为大小写不敏感，否则发生表找不到的问题。在mysql配置文件/etc/my.cnf\[mysqld\]中增加一行lower\_case\_table\_names=1。

配置schema.xml，注意配置所有节点数据库的远程访问授权。

<?xmlversion="1.0"?>
    
    <!DOCTYPEmycat:schema SYSTEM "schema.dtd">
    
    <mycat:schemaxmlns:mycat="http://org.opencloudb/">
    
    
    
            <schema name="e3shop"checkSQLschema="false" sqlMaxLimit="100">
    
                    
    
                    <table name="tb_item"dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    
            </schema>
    
            <dataNode name="dn1"dataHost="localhost1" database="db1" />
    
            <dataNode name="dn2"dataHost="localhost1" database="db2" />
    
            <dataNode name="dn3"dataHost="localhost2" database="db3" />
    
            <dataHostname="localhost1" maxCon="1000" minCon="10"balance="0"
    
                    writeType="0"dbType="mysql" dbDriver="native"switchType="1" slaveThreshold="100">
    
                    <heartbeat>select user()</heartbeat>
    
                    
    
                    <writeHosthost="hostM1" url="192.168.0.121:3306"user="root"
    
                           password="123456">
    
                            
    
    
    
                    </writeHost>
    
            </dataHost>
    
             <dataHostname="localhost2" maxCon="1000" minCon="10"balance="0"
    
                    writeType="0"dbType="mysql" dbDriver="native"switchType="1" slaveThreshold="100">
    
                    <heartbeat>select user()</heartbeat>
    
                    
    
                    <writeHosthost="hostM1" url="192.168.0.102:3306"user="root"
    
                           password="123456">
    
                            
    
    
    
                    </writeHost>
    
            </dataHost>
    
    </mycat:schema>

配置server.xml

<?xmlversion="1.0" encoding="UTF-8"?>
    
    
    
    <!DOCTYPEmycat:server SYSTEM "server.dtd">
    
    <mycat:serverxmlns:mycat="http://org.opencloudb/">
    
            <system>
    
            <propertyname="defaultSqlParser">druidparser</property>
    
          
    
            
    
            
    
                    
    
                    
    
                    
    
                    
    
                    
    
                    
    
                    
    
            </system>
    
            <user name="user">
    
                    <propertyname="password">user</property>
    
                    <propertyname="schemas">e3shop</property>
    
            </user>
    
    </mycat:server>

重启mycat。

连接mycat，mysql  -h  192.168.0.121  -P  8066 -u  user  –p

测试，进入mycat客户端，创建schema中定义的表，插入一定量的数据。mycat中根据id的长度的规则，每个数据库放500万条数据，当id的值在500万以及以内时放在db1，500万以上以及1000万及以内时放在db2，1000万以上放在db3。

# 五、  mycat读写分离 #

大型系统或者高访问量的互联网应用，需要配置数据库读写分离。mysql中，标准的读写分离是主从模式，一个写节点master后面跟着多个读节点，读节点的数量取决于系统的压力，一般是1-3个读节点。mycat的读写分离和自动切换机制，需要mysql的主从复制的配合。

## 1.         mysql主从配置 ##

mysql主从配置需要注意的问题。主dbserver和从dbserver的数据库版本一致；主dbserver和从dbserver的数据库名称一致；主dbserver开启binlog二进制日志，主dbserver和从dbserver的server\_id必须唯一，一般在同一网段中使用ip地址末节点数作为id，不会重复的。

mysql主服务器配置。

第一步，修改my.cnf文件。在\[mysqld\]中添加。

binlog-do-db=db1

binlog-ignore-db=mysql

\#启用二进制日志

log-bin=mysql-bin

\#服务器唯一ip，一般取ip最后一段

server\_id=78

第二步，重启mysql服务。

第三步，建立账户并授权slave。供从服务器访问。

GRANT FILE  ON  \*.\* TO  'tom'  @'%' IDENTIFIED  BY  '1234';

GRANT REPLICATION  SLAVE,REPLICATION  CLIENT ON  \*.\*  to 'tom'  @'%'  identified by  '1234';刷新权限，FLUSH  PRIVILEGES;

select  User,Host from  mysql.user;查看mysql现在拥有的用户。

第四步，查询master的状态，mysql>show  master  status \\G;

mysql从服务器配置。

第一步，修改my.cnf文件，在\[mysqld\]中添加server\_id=121。

第二步，配置从服务器。

mysql>change  master to  master\_host='39.105.79.78',master\_port=3306,master\_user='tom',master\_password='1234',master\_log\_file='mysql-bin.000008',master\_log\_pos=107;

其中master\_log\_file='mysql-bin.000008',master\_log\_pos=107，是在主服务器中使用show  master status查到的信息。

修改主服务器配置的方式

CHANGE MASTER TOMASTER\_LOG\_FILE='mysql-bin.000014',MASTER\_LOG\_POS=120;

第三步，启动从服务器复制功能。mysql>start  slave;

第四步，检查从服务器复制功能状态。mysql>show  slave status  \\G;注意，Slave\_IO以及Slave\_SQL进程必须正常进行，即为YES。

出现Fatal error: The slaveI/O thread stops because master and slave have equal MySQL server ids; theseids must be different for replication to work (or the--replicate-same-server-id option must be used on slave but this does notalways make sense; please check the manual before using it).的错误的原因可能是mysql的虚拟机系统是克隆的，所以mysql的uuid是一样，解决方法是删除/var/lib/mysql/auto.cnf文件，重新启动服务。

测试主从复制，向主服务器添加一天记录，查看从服务器对应的库中是否添加成功。

## 2.         mycat读写分离 ##

在schema.xml中配置

<?xmlversion="1.0"?>
    
    <!DOCTYPEmycat:schema SYSTEM "schema.dtd">
    
    <mycat:schemaxmlns:mycat="http://org.opencloudb/">
    
    
    
            <schema name="e3shop"checkSQLschema="false" sqlMaxLimit="100">
    
                    
    
                    <tablename="tb_item" dataNode="dn1,dn2,dn3"rule="auto-sharding-long" />
    
            </schema>
    
            <dataNode name="dn1"dataHost="localhost1" database="db1" />
    
            <dataNode name="dn2"dataHost="localhost1" database="db2" />
    
            <dataNode name="dn3"dataHost="localhost2" database="db3" />
    
            <dataHostname="localhost1" maxCon="1000" minCon="10" balance="1"
    
                    writeType="0"dbType="mysql" dbDriver="native"switchType="2" slaveThreshold="100">
    
                    
    
                    <heartbeat>show slavestatus</heartbeat>
    
                    
    
                    <writeHosthost="hostM1" url="39.105.79.78:3306" user="root"
    
                           password="1234">
    
                            
    
                            <readHosthost="hosts" url="192.168.0.121:3306" user="root"password="1234" />
    
                    </writeHost>
    
            </dataHost>
    
            <dataHostname="localhost2" maxCon="1000" minCon="10"balance="0"
    
                    writeType="0"dbType="mysql" dbDriver="native"switchType="1"  slaveThreshold="100">
    
                    <heartbeat>selectuser()</heartbeat>
    
                    
    
                    <writeHosthost="hostM1" url="192.168.0.102:3306"user="root"
    
                           password="1234">
    
                            
    
    
    
                    </writeHost>
    
            </dataHost>
    
    </mycat:schema>

balance和writeType的值

balance的参数，0，所有读操作都发送到当前可用的writeHost上；1，所有读操作都随机的发送到readHost上；2，所有读操作都随机发送到writeHost、readHost上。

writeType的参数，0，所有写操作都发送到可用的writeHost上；1，所有写操作到随机的发送到readHost上；2，所有写操作都随机的向writeHost和readHost上发送。

switchType的参数，-1，表示不自动切换；1，默认值，自动切换；2，基于mysql主从同步的状态决定是否切换。

启动mycat，会自动启动读写分离。测试。