搞懂MySQL分表

淩亂°似流年 2022-05-27 03:20 174阅读 0赞

背景  
  
企业开发中经常会遇见某个业务使用频繁，导致数据量特别大，而MySQL的单表承载的数据量有限，一般在1000万以内，字段多一些还会更少，我们解决这种业务就需要对数据进行拆分，也叫sharding ，将一个表拆分多个表，或者多个数据库，本次就介绍一下分表，知道分表逻辑分库也就不再是个难事。  
  
几个概念  
拆分因子：拆分因子也就是我们要按照什么维度拆分，比如，按照用户维度拆分，还是按照商户维度，还是其他，这里的用户和商户就是拆分因子，拆分因子的选取和业务强绑定，需要重点考虑。  
  
哈希：也叫散列，百度百科中叫做将任意长度的输入，通过散列算法变换成固定长度的输入。  
  
拆分因子选择  
  
因子选择，要看这个表所支撑的业务  
  
举例1、京东的京豆  
  
京豆是属于用户维度的，我们的操作都是查询某个人的京豆，所以这个京豆库存流水信息就可以按照用户维度进行拆分，保证同一个人的京豆都存储在同一张表里面。  
  
举例2、电商的商品信息  
  
商品信息属于商家维度，我们一般都是进到一个店铺，查看这个店铺有哪些商品，商家查看自己的商品，所以这个商品信息就可以按照商家维度拆分，保证同一个商家的信息在同一表里面。  
  
极端例子：订单表  
  
订单表即属于商家，又属于用户，此时我们的选择是优先用户，可以按照用户维度进行拆分，其次通过冗余索引或冗余数据来为商户提供服务，比如创建一套商户维度的数据，然后商户维度数据采用异步非实时的机制进行同步数据，  
  
拆分方法  
  
如果你的业务是按照时间进行分表，每隔一段时间创建一个新表的话，就没有具体的拆分方式了，一定时间创建一个新表就可以了，但如果是有拆分因子，可以按照如下步骤考虑：  
  
1、预估容量  
预估该系统要支撑几年，大概的一个数据量，按照每个表1000w左右进行评估，如果未来5年可以达到1亿数据，那么拆分10张表即可，加上一定的上浮空间，一般用2的倍数，拆分成16张就够了。  
  
2、考虑扩展性  
如果我们16张表不够用的时候，该怎么办，那32张是否足够，如果提前做好扩展性。  
  
实践  
比如每个订单，都给用户发放一定的奖励金，我们要记录每次发放的奖励金信息，我们按照用户维度进行分表；  
  
1、每天100w订单，也就100w条记录  
2、系统支撑5年，5\*365\*100w 约等于 18.25亿  
3、每张表最多存1000w数据，大约182张表  
  
考虑到扩展性 我们准备最多分256张表(2的倍数)可以先拆分出16张表，随着业务扩展最多分256张  
  
表的命名，bounty\_001,bounty\_016,bounty\_032 ... bounty\_240 累计16张表，选择等步长为了每个表之间可以做扩展（稍后讲到）  
  
定位数据应该存储的表  
  
一致性HASH的方式，大家可以自行百度一致性Hash算法  
hash(userId)%256 = shardIndex ；对用户标识进行hash，然后除以256，取余数；  
hash是哈希算法，推荐guava工具包有几个hash算法实现，  
256是因为我们最多要拆分256张表，取余数就是为了定位数据需要存到那个后缀的表中。  
  
可以维护一套余数与表之间的映射  
1->bounty\_001  
  
2->bounty\_001  
.....  
15->bounty\_001  
16->bounty\_016  
17->bounty\_017  
  
这样当计算出余数，就能从这个映射中知道应该存储到哪张表里面，通过动态组装SQL，变更表名，直接插入到对应的数据库即可。  
  
扩容  
  
当然我们可以直接一次性拆分256张表或者更多直接满足业务需求，但那样也会给我们的系统的维护带来一定的复杂度，毕竟每张表我们都要处理，所以常规都是按照上面的做法，先少分几张，保证业务应用，随着业务的增长再继续扩容。  
  
上例中，如果我们需要扩容，我们可以在后缀为001和016之间，新建bounty\_008，然后修改映射关系，将余数8-15的数据存储到bounty\_008表中，同时将bounty\_001表中的数据，复合余数8-15之间的数据，转移到bounty\_008中，这就完成了数据表的扩容；

以上就是简单的数据库分表实践，是不是很简单，实际业务可能会遇到更复杂的，就像举例3中的场景。那就需要附加索引或者异步冗余，或者借助其他方式如ES等来解决。写的不好大家多多指正

![20180410175936454][]

转载网址：[https://baijiahao.baidu.com/s?id=1579607517769172507&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1579607517769172507_wfr_spider_for_pc]

[20180410175936454]: /images/20220527/a0865f91719a46a68477c944bf05bd02.png
[https_baijiahao.baidu.com_s_id_1579607517769172507_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1579607517769172507&wfr=spider&for=pc