分库分表：垂直分库、垂直分表、水平分库、水平分表四个概念

刺骨的言语ヽ痛彻心扉 2023-10-07 22:23 6阅读 0赞

#### 文章目录 ####

*   *  一、分库分表的意义
     *  二、垂直分表的思路
     *  三、垂直分库的思路
     *  四、水平分库的思路
     *  五、水平分表的思路

### 一、分库分表的意义 ###

随着公司业务快速发展，数据库中的数据量猛增，访问性能也变慢了，优化迫在眉睫。分析一下问题出现在哪儿呢？ 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。  
**分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。**

### 二、垂直分表的思路 ###

问题分析：用户在浏览商品列表时，只有对某商品感兴趣时才会查看该商品的详细描述。因此，商品信息中**商品描述**字段访问频次较低，且该字段存储**占用空间较大**，访问单个数据IO时间较长；商品信息中商品名称、商品图片、商品价格等其他字段数据访问频次较高。由于这两种数据的特性不一样，因此他考虑将商品信息表拆分如下：**将访问频次低的商品描述信息单独存放在一张表中，访问频次较高的商品基本信息单独放在一张表中**。  
![在这里插入图片描述][e59b78e878914429a9b3685be4031727.png]  
这就是垂直分表，**垂直分表定义：将一个表按照字段分成多表，每个表存储其中一部分字段。**

一般来说，某业务实体中的各个数据项的访问频次是不一样的，部分数据项可能是**占用存储空间比较大的BLOB或是TEXT**。例如上例中的商品描述。所以，当表数据量很大时，可以将表按字段切开，将**热门字段、冷门字段**分开放置在不同表中。垂直切分带来的性能提升主要集中在热门数据的操作效率上，而且磁盘争用情况减少。  
**通常我们按以下原则进行垂直拆分:**

*  **把不常用的字段单独放在一张表;**
 *  **把text，blob等大字段拆分出来放在附表中;**
 *  **经常组合查询的列放在一张表中;**

### 三、垂直分库的思路 ###

问题分析：通过垂直分表性能得到了一定程度的提升，但是还没有达到要求，并且**磁盘空间也快不够**了，因为数据还是**始终限制在一台服务器**，**库内垂直分表只解决了单一表数据量过大的问题**，但没有将表分布到不同的服务器上，因此每个表还是竞争**同一个物理机**的CPU、内存、网络IO、磁盘。  
![在这里插入图片描述][d25a7a37c6e44c42b08be3d21c33a2c2.png]  
因此，我们可以把表根据业务细度进行拆分，如图例，把店铺表和商品表分别存放在**不同的数据库中**，而地理区域表作为字典表**冗余各自存在于**这两个数据库。  
这就是垂直分库，**垂直分库是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放在不同的服务器上**，它的**核心理念是专库专用**。  
它带来的提升是：

*  解决业务层面的耦合，业务清晰；
 *  能对不同业务的数据进行分级管理、维护、监控、扩展等；
 *  高并发场景下，垂直分库一定程度的提升IO、数据库连接数、降低单机硬件资源的瓶颈；
 *  垂直分库通过将表按业务分类，然后分布在不同数据库，并且可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果，**但是依然没有解决单表数据量过大的问题**。

### 四、水平分库的思路 ###

问题分析：经过垂直分库后，数据库性能问题得到一定程度的解决，但是随着业务量的增长，PRODUCT\_DB(商品库)**单库存储数据已经超出预估**。粗略估计，目前有8w店铺，每个店铺平均150个不同规格的商品，再算上增长，那商品数量得往1500w+上预估，并且PRODUCT\_DB(商品库)属于访问**非常频繁**的资源，单台服务器已经无法支撑。此时该如何  
优化？  
**因此，尝试水平分库，将店铺ID为单数的和店铺ID为双数的商品信息分别放在两个库中。**  
![在这里插入图片描述][58a3d34939e04e73af5bf08ccb818e9a.png]  
也就是说，要操作某条数据，先分析这条数据所属的店铺ID。如果店铺ID为双数，将此操作映射至RRODUCT\_DB1(商品库1)；如果店铺ID为单数，将操作映射至RRODUCT\_DB2(商品库2)。此操作要访问数据库名称的表达式为**RRODUCT\_DB\[店铺ID%2 + 1\]**。  
这就是水平分库，**水平分库是把同一个表的数据按一定规则拆到不同的数据库中，每个库可以放在不同的服务器上。**  
它带来的提升是：

*  解决了单库大数据，高并发的性能瓶颈。
 *  提高了系统的稳定性及可用性。
 *  当一个应用难以再细粒度的垂直切分，或切分后数据量行数巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平分库了，经过水平切分的优化，往往能解决单库存储量及性能瓶颈。**但由于同一个表被分配在不同的数据库，需要额外进行数据操作的路由工作，因此大大提升了系统复杂度**。

### 五、水平分表的思路 ###

按照水平分库的思路对他把PRODUCT\_DB\_X(商品库)内的**表也可以进行水平拆分**，**其目的也是为解决单表数据量大的问题**。  
![在这里插入图片描述][4a6087af37084104aac641caab6b3d74.png]  
与水平分库的思路类似，不过这次操作的目标是表，商品信息及商品描述被分成了两套表。如果商品ID为双数，将此操作映射至商品信息1表；如果商品ID为单数，将操作映射至商品信息2表。此操作要访问表名称的表达式为商品信息 **\[商品ID%2 + 1\]**。  
这就是水平分表。**水平分表是在同一个数据库内，把同一个表的数据按一定规则拆到多个表中。**  
它带来的提升是：

*  优化单一表数据量过大而产生的性能问题；
 *  避免IO争抢并减少锁表的几率；
 *  库内的水平分表，解决了单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而使得单个表的数据量变小，提高检索性能。

[e59b78e878914429a9b3685be4031727.png]: https://img-blog.csdnimg.cn/e59b78e878914429a9b3685be4031727.png
[d25a7a37c6e44c42b08be3d21c33a2c2.png]: https://img-blog.csdnimg.cn/d25a7a37c6e44c42b08be3d21c33a2c2.png
[58a3d34939e04e73af5bf08ccb818e9a.png]: https://img-blog.csdnimg.cn/58a3d34939e04e73af5bf08ccb818e9a.png
[4a6087af37084104aac641caab6b3d74.png]: https://img-blog.csdnimg.cn/4a6087af37084104aac641caab6b3d74.png