MyCat水平分片

拼搏现实的明天。 2022-08-28 08:54 187阅读 0赞

### MyCat水平分片 ###

*  1、概述
 *  2、案例场景
 *  3、准备工作
 *  4、schema.xml配置
 *  5、server.xml的配置
 *  6、水平分片测试
 *   *  6.1 在MyCat数据库中执行建表语句
     *  6.2 插入数据
     *  6.3 查看各个节点的存储情况

# 1、概述 #

根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_12_color_FFFFFF_t_70_g_se_x_16]

# 2、案例场景 #

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16]  
在业务系统中, 有一张表(日志表), 业务系统每天都会产生大量的日志数据 , 单台服务器的数据存储及处理能力是有限的, 可以对数据库表进行拆分, 原有的数据库表拆分成以下表 :  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_14_color_FFFFFF_t_70_g_se_x_16]

# 3、准备工作 #

1). 准备三台数据库实例

192.168.192.33
    192.168.192.34
    192.168.192.35

2). 在三台数据库实例中创建数据库

create database log_db DEFAULT CHARACTER SET utf8mb4;

# 4、schema.xml配置 #

> 这里使用了取模分片算法。

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">
    
    	<schema name="LOG_DB" checkSQLschema="false" sqlMaxLimit="100">
    		<table name="tb_log" dataNode="dn1,dn2,dn3" primaryKey="id" rule="mod-long" />
    	</schema>
    	
    	
    	<dataNode name="dn1" dataHost="host1" database="log_db" />
    	<dataNode name="dn2" dataHost="host2" database="log_db" />
    	<dataNode name="dn3" dataHost="host3" database="log_db" />
    	
        
    	<dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
    		<heartbeat>select user()</heartbeat>
    		<writeHost host="hostM1" url="192.168.159.33:3306" user="root" password="123456"></writeHost>
    	</dataHost>	
        
        <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
    		<heartbeat>select user()</heartbeat>
    		<writeHost host="hostM2" url="192.168.159.34:3306" user="root" password="123456"></writeHost>
    	</dataHost>	
        
        <dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
    		<heartbeat>select user()</heartbeat>
    		<writeHost host="hostM3" url="192.168.159.35:3306" user="root" password="123456"></writeHost>
    	</dataHost>	
    
    </mycat:schema>

# 5、server.xml的配置 #

<user name="root" defaultAccount="true">
    		<property name="password">GO0bnFVWrAuFgr1JMuMZkvfDNyTpoiGU7n/Wlsa151CirHQnANVk3NzE3FErx8v6pAcO0ctX3xFecmSr+976QA==</property>
    		<property name="schemas">LOG_DB</property>
              	<property name="readOnly">false</property>
        		<property name="benchmark">1000</property> 
    		<property name="usingDecrypt">1</property>
    		
    		
    		
    	</user>
    
    	<user name="user">
    		<property name="password">123456</property>
    		<property name="schemas">LOG_DB</property>
    		<property name="readOnly">true</property>
    	</user>

# 6、水平分片测试 #

## 6.1 在MyCat数据库中执行建表语句 ##

启动mycat  
![在这里插入图片描述][efd6e918172a483c9e8804015ef2838a.png]

登录Mycat  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_17_color_FFFFFF_t_70_g_se_x_16]

CREATE TABLE `tb_log` (
      `id` bigint(20) NOT NULL COMMENT 'ID',
      `model_name` varchar(200) DEFAULT NULL COMMENT '模块名',
      `model_value` varchar(200) DEFAULT NULL COMMENT '模块值',
      `return_value` varchar(200) DEFAULT NULL COMMENT '返回值',
      `return_class` varchar(200) DEFAULT NULL COMMENT '返回值类型',
      `operate_user` varchar(20) DEFAULT NULL COMMENT '操作用户',
      `operate_time` varchar(20) DEFAULT NULL COMMENT '操作时间',
      `param_and_value` varchar(500) DEFAULT NULL COMMENT '请求参数名及参数值',
      `operate_class` varchar(200) DEFAULT NULL COMMENT '操作类',
      `operate_method` varchar(200) DEFAULT NULL COMMENT '操作方法',
      `cost_time` bigint(20) DEFAULT NULL COMMENT '执行方法耗时, 单位 ms',
      `source` int(1) DEFAULT NULL COMMENT '来源 : 1 PC , 2 Android , 3 IOS',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

## 6.2 插入数据 ##

INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('1','user','insert','success','java.lang.String','10001','2020-02-26 18:12:28','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','insert','10',1);
    INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('2','user','insert','success','java.lang.String','10001','2020-02-26 18:12:27','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','insert','23',1);
    INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('3','user','update','success','java.lang.String','10001','2020-02-26 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','update','34',1);
    INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('4','user','update','success','java.lang.String','10001','2020-02-26 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','update','13',2);
    INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('5','user','insert','success','java.lang.String','10001','2020-02-26 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.controller.UserController','insert','29',3);
    INSERT INTO `tb_log` (`id`, `model_name`, `model_value`, `return_value`, `return_class`, `operate_user`, `operate_time`, `param_and_value`, `operate_class`, `operate_method`, `cost_time`，`source`) VALUES('6','user','find','success','java.lang.String','10001','2020-02-26 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.controller.UserController','find','29',2);

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 6.3 查看各个节点的存储情况 ##

由于在schema.xml中配置了rule=“mod-long”  
![在这里插入图片描述][34b9d6b0fa3144d7b6ce6c1f9f00e188.png]  
我们查看下rule.xml  
![在这里插入图片描述][7ee8cec27bb546349a640eee9b9b6475.png]

![在这里插入图片描述][e5015525c8d546d6a954282cfc8cfc08.png]  
可以看到，这是一个模3的运算，分片字段是id,我们插入了六条数据，id分别为1，2，3，4，5，6，取模3的结果分别为1，2，0，1，2，0。最后根据取模的结果进行分片存储：  
id为3和6存储在192.168.159.33节点  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
id为1和4存储在192.168.159.34节点  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
id为2和5存储在192.168.159.35节点  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 4]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/058029b4ec934ae6a219351cf7efe379.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c24e80612ca74905bb55719cdfbcc5d5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/43c2f47d5b6e4243bde24a0ae6e0abde.png
[efd6e918172a483c9e8804015ef2838a.png]: /images/20220828/7797dd718fe24913a46eff2686045099.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/882d2f943bf747d5b83df08d3894d7b4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/b7ad2c3cefb14cb29f00475db4e3abd5.png
[34b9d6b0fa3144d7b6ce6c1f9f00e188.png]: /images/20220828/eae28b28a5d14bf4a6c775b12ebf6e95.png
[7ee8cec27bb546349a640eee9b9b6475.png]: /images/20220828/b21864edfbe24d5e82916bed4563eb93.png
[e5015525c8d546d6a954282cfc8cfc08.png]: /images/20220828/b47f8da8a60b42a59848dfa99eaabc6d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/e6ec118a37f243fdb4339acfe37c8450.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/0d2ba456b31a48178cd19a37de412206.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yir5Zui562Jc2h55ZOl5Y-R6IKy_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/b106dc71ac274f39afb884d86c51521a.png