基于mybatis的shard方案（分表分库、读写分离）

我不是女神ヾ 2022-07-17 16:21 110阅读 0赞

m-shard是本人近日完成一个基于mybatis、spring的分表分库插件，以下将对该插件做详细说明。  
  
**MShard是什么**  
MShard是一个定位于orm层shard方案，支持分表分库（跨库分表）、读写分离，支持分布式事务，它是一个基于于mybatis3.x的扩展，依赖于spring。  
  
  
**功能要点**  
1、分库分表（跨库）  
2、读取分享  
3、事务控制  
基于spring管理事务，处理方式：将一个大的事务拆成多个小的事务  
4、主键策略  
mysql 利用第三方表、函数来完成，因为我们可能会在同一个mysql实例中部署多个库，而increment\_offset、increment\_increment是全局性的，所以mysql不能用自带的auto\_increment方案；  
相对而言，oracle就好办了，为每个库、每张库定义一个sequence，保证increment一致，错开offset即可  
  
  
**基础流程**  
MShard 被设计成一个 mybatis 的插件，重写了 MethodProxy、Environment、SqlSessionFactory等类，总体的sql执行步骤如下：  
1、根据mapper xml生成sql  
由于自定义了 methodProxy 和 MapperFactoryBean，所以我们可以在不依赖于sqlSession的情况下根据mapper.xml生成待执行的sql语句  
2、sql 解析    
利用 mybatis 自身的 api 获取分表字段的值   
3、sql 路由  
根据分表字段的值取模，找到对应的数据源  
4、到指定的数据源执行sql  
此时才根据数据源生成sqlSession，然后执行相应的语句  
  
  
**使用说明**  
1、shard-config.xml  
该配置文件位于 classpath 根路径，用于配置数据源信息、分库的表及字段信息、数据源的读写分离信息。  
a、数据源配置如下，目前只直接mysql，name为唯一标识符

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **<****dataSource** name="ds1"**>**  
2.      **<****url****>**jdbc:mysql://10.1.4.241:3306/sample\_db1?useUnicode=true&characterEncoding=UTF\-8**</****url****>**  
3.      **<****userName****>**root**</****userName****>**  
4.      **<****password****>**123456**</****password****>**  
5.  **</****dataSource****>**  
6.  **<****dataSource** name="ds1\_rep1"**>**  
7.      **<****url****>**jdbc:mysql://10.1.4.242:3306/sample\_db1?useUnicode=true&characterEncoding=UTF\-8**</****url****>**  
8.      **<****userName****>**root**</****userName****>**  
9.      **<****password****>**123456**</****password****>**  
10. **</****dataSource****>**  
11.        ....

b、以下是数据结点配置，用于将数据源分组，并区分哪些源用于读，哪些源用于写  
（注意：每个节点对应逻辑上的一个数据库；如果某结点物理部署时采用多主热备，即多master，则在writeNodes将master一一配上即可；main=true代表该结点为主库，因为不是所有的表都需要分库处理；readNodes中的数据源将不会用写操作，同一事务中如有先写后读取的操作，那么该操作会在同一个writeNode上执行，从而保证一致性）

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **<****dataNodes****>**  
2.      **<****dataNode** main="true"**>**  
3.          **<****writeNodes****>**ds1**</****writeNodes****>**  
4.          **<****readNodes****>**ds1\_rep1, ds1\_rep2**</****readNodes****>**  
5.      **</****dataNode****>**  
6.      **<****dataNode****>**  
7.          **<****writeNodes****>**ds2**</****writeNodes****>**  
8.          **<****readNodes****>**ds2\_rep1, ds2\_rep2**</****readNodes****>**  
9.      **</****dataNode****>**  
10.     **<****dataNode****>**  
11.         **<****writeNodes****>**ds3**</****writeNodes****>**  
12.         **<****readNodes****>**ds3\_rep1, ds3\_rep2**</****readNodes****>**  
13.     **</****dataNode****>**  
14. **</****dataNodes****>**

c、最后就是分库的表、字段配置了，注意：字段类型必须是数值型，且不能为空

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **<****rules****>**  
2.      **<****table** name="sample\_blog" column="user\_id"**>****</****table****>**  
3.  **</****rules****>**

2、建立数据库表、函数  
本文以3个节点为例，每个节点有1个读库，2个写库。

注意：sequence表为主键辅助表，需设置为 MyIsam 引擎，因为该引擎下锁是以表为单位的，故不会出现并发问题。

**\[sql\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **CREATE** **TABLE** \`sample\_blog\` (  
2.    \`id\` **int**(11) NOT NULL **DEFAULT** '0' COMMENT '主键',  
3.    \`user\_id\` **int**(11) **DEFAULT** NULL COMMENT '用户ID',  
4.    \`title\` **varchar**(255) **DEFAULT** NULL COMMENT '标题',  
5.    \`context\` mediumtext COMMENT '内容',  
6.    \`create\_time\` datetime **DEFAULT** NULL COMMENT '发表时间',  
7.    \`is\_use\` tinyint(1) **DEFAULT** NULL COMMENT '是否启用',  
8.    **PRIMARY** **KEY** (\`id\`)  
9.  ) ENGINE=InnoDB **DEFAULT** CHARSET=utf8 COMMENT='博文';  
10.   
11.   
12. **CREATE** **TABLE** \`**sequence**\` (  
13.   \`tbl\_name\` **varchar**(32) NOT NULL **DEFAULT** '',  
14.   \`next\_id\` **int**(11) **DEFAULT** NULL,  
15.   **PRIMARY** **KEY** (\`tbl\_name\`)  
16. ) ENGINE=MyISAM **DEFAULT** CHARSET=utf8;  
17.   
18.   
19. **CREATE** **FUNCTION** \`get\_new\_id\`( tblName **varchar**(32) ) **RETURNS** **int**(11)  
20. **BEGIN**  
21.      **DECLARE** idOffset **int** **default** 1;  
22.      **DECLARE** idIncrement **int** **default** 3;  
23.      **DECLARE** nextID **int** **default** 0;  
24.      **select** next\_id **into** nextID **from** **sequence** **where** tbl\_name=tblName limit 1;  
25.      if(nextID<=0) **then**   
26.             **insert** **into** **sequence**(tbl\_name, next\_id) **values**(tblName, idOffset+idIncrement) ;                            
27.             **return** idOffset;  
28.      **else**  
29.             **update** **sequence** **set** next\_id=nextID+idIncrement **where** tbl\_name=tblName;  
30.             **RETURN** nextID;  
31.      **end** if;  
32. **END**;

3、编写测试代码  
本例中采用mapper映射机制。  
测试类 BlogMapper.java  映射文件 BlogMapper.xml  
以数据插入为例，  
  
int insert(Blog record);

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **<****insert** id="insert" parameterType="sample.dal.entity.Blog"**>**  
2.  insert into sample\_blog (id, user\_id, title,  
3.  create\_time, is\_use, context  
4.  )  
5.  values (get\_new\_id('sample\_blog'), \#\{userId,jdbcType=INTEGER\},  
6.  \#\{title,jdbcType=VARCHAR\},  
7.  \#\{createTime,jdbcType=TIMESTAMP\}, \#\{isUse,jdbcType=BIT\}, \#\{context,jdbcType=LONGVARCHAR\}  
8.  )  
9.  **</****insert****>**

测试代码:

**\[java\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  @Test  
2.  **public** **void** testMapper() \{  
3.      BlogMapper mapper = factory.getBean(BlogMapper.**class**);  
4.      BlogExample ex = **new** BlogExample();  
5.      ex.createCriteria().andTitleLike("%").andIdIsNotNull();  
6.    
7.      Blog record = **new** Blog();  
8.      record.setContext("aaaaaa");  
9.        
10.     **for**(**int** i=0 ; i< 100; i++)\{  
11.         mapper.insert(record);  
12.     \}  
13. \}

执行该测试用例后，100条数据以userId为分库字段，分别存储到了 3个数据源中。  
  
4、事务控制  
a、在 spring 配置中加入以下配置即：

**\[html\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **<****bean** id="transactionManager" class="org.meteor.transaction.ShardDataSourceTrasactionManager"**>****</****bean****>**  
2.  **<****tx:annotation-driven** transaction-manager="transactionManager" **/>**

b、在需要用到事务的业务方法头部或者类的头部加上 @Transactional 即可  
  
  
**写在最后**

本插件目前还处于测试阶段，不能用于生产环境；

在这里写这篇文章只是想把自己的设计思想传达给大家，与大家一起分享一下，希望能让大家眼前一亮，但不足之处难免，也希望得到指证；

至于代码，目前只是为了完成基础功能，还有很大的优化空间。

依赖包：

aopalliance-1.0.jar  
asm-3.3.jar  
asm-commons-3.3.jar  
aspectj-1.6.12.jar  
commons-beanutils-1.8.3.jar  
commons-codec-1.4.jar  
commons-collections-3.2.1.jar  
commons-dbcp-1.4.jar  
commons-io-2.0.1.jar  
commons-logging-1.1.1.jar  
commons-pool-1.5.4.jar  
junit-4.9-SNAPSHOT-20100512-0041.jar  
spring.aop-3.0.5.RELEASE.jar  
spring.asm-3.0.5.RELEASE.jar  
spring.beans-3.0.5.RELEASE.jar  
spring.context-3.0.5.RELEASE.jar  
spring.context.support-3.0.5.RELEASE.jar  
spring.core-3.0.5.RELEASE.jar  
spring.expression-3.0.5.RELEASE.jar  
spring.jdbc-3.0.5.RELEASE.jar  
spring.transaction-3.0.5.RELEASE.jar  
aspectjweaver-1.6.9.jar

下载链接：

mshard-demo-0.1.jar   [http://pan.baidu.com/s/1dDj6QBn][http_pan.baidu.com_s_1dDj6QBn]

mshard-0.1-beta.jar   [http://pan.baidu.com/s/1kTqMnor][http_pan.baidu.com_s_1dDj6QBn]

[view plain]: http://blog.csdn.net/xingkong0128/article/details/18268635#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/156538
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/156538/fork
[http_pan.baidu.com_s_1dDj6QBn]: http://pan.baidu.com/s/1kTqMnor