为什么要分表分库？

朴灿烈づ我的快乐病毒、 2022-05-18 05:55 181阅读 0赞

## 一、为什么要分表分库 ##

数据库数据会随着业务的发展而不断增多，因此数据操作，如增删改查的开销也会越来越大。再加上物理服务器的资源有限（CPU、磁盘、内存、IO 等）。最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。  
  数据库存在IO和CPU瓶颈:

*  IO瓶颈：

第一种: 磁盘读的IO，数据库缓存放不下，每次查询是产生大量IO，降低查询速度。

第二种：网络IO，请求数据太多，带宽不够。

*  CPU瓶颈：

第一种：sql语句，SQL语句中包含函数（join，group by，count…），非索引字段条件查询等等，增加CPU运算操作。

第二种: 单表数据量太大，查询是扫描的数据太多，SQL执行效率低下，CPU瓶颈就出现了。

## 二、如何分库 ##

### 1、水平分库 ###

*  以“字段”为依据，按照一定策略(hash、rang、time)，将一个库中的数据拆分到多个库中。
 *  每个数据库的结构都一样。
 *  所有数据库中的数据并集就是全量数据。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70]  
    场景： 提高数据查询性能，把一个库承担负载分担给了多个库。

### 2、垂直分库 ###

*  以表为拆分依据，按照业务规则不同，将不同表拆分到不同库中。
 *  每一个库的结构是完全不一样。
 *  每个库中的数据也不一样，没有交集。
 *  所有库的数据的并集就是全量数据。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 1]

## 三、如何分表 ##

### 1、水平分表 ###

*  以“字段”为依据，按照一定策略(hash、rang、time)，将表中的数据拆分到多个表中。
 *  每个表的结构完全一样。
 *  每个表中的数据完全不一样，并且没有交集。
 *  所有表并集就是全量数据。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 2]

### 2、垂直分表 ###

*  以“字段”为依据，表中字段过多时，按照规则，将表中的字段拆分到不同的表(主表/从表)。
 *  每个表的结构是不一样的。
 *  每个表中的数据也不一样的，每个表的字段至少有一个交集，一般是主键，关联数据。
 *  所有表的并集就是全量数据。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 3]  
    场景: 表的记录不多，但是字段多，并且热点数据和非热点数据在一起，一行记录存储需要空间比较大。

## 四、拆分原则 ##

1、能不拆分尽量不拆分，如果要拆分一定选择合适的拆分规则。  
2、数据拆分尽量通过数据冗余或表分组来降低跨库join的可能。  
3、跨库join是共同难题，所以业务读取尽量少使用多表join。

## 五、分库分表的好处 ##

### 1、水平拆分优点 ###

*  单库单表的数据保存在一定量级，有助于提升性能。
 *  切分表的结构相同，应用层改造较少，只需要增加路由规则就OK。
 *  提供了系统稳定性和负载能力。（并发性能提高）

### 2、垂直拆分优点 ###

*  拆分后业务明确。
 *  系统进行整合和扩展就比较容易。
 *  易于实现动静分离，冷热分离的数据库表的数据模式。

## 五、分库分表带来的问题 ##

### 1、垂直拆分带来的问题 ###

*  部分业务表无法join，只能通过接口方式，提高了系统的复杂度
 *  存在单表性能瓶颈，不易扩展。
 *  事务处理复杂

### 2、水平拆分带来的问题 ###

*  拆分规则难以抽象
 *  分片事务一致性难以解决
 *  维护难度极大
 *  跨库join性能差

### 3、共同问题 ###

*  分片规则和策略
 *  分布式全局唯一ID
 *  多数据源管理问题
 *  跨库跨表join问题
 *  跨节点合并排序分页问题
 *  事务复杂
 *  数据管理难度加大

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70]: /images/20220518/7cf39221b94c4040a79823ae0d673f48.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 1]: /images/20220518/2667a0de601e499785a1fa75d4e6c977.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 2]: /images/20220518/9981bbd4f81c4bb4859263aa5acd27ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI3OTMzMzAx_size_16_color_FFFFFF_t_70 3]: /images/20220518/032d911eb6e4446c88d542354f36a37c.png