阿里P8架构师谈：数据库分库分表、读写分离的原理实现，使用场景

朴灿烈づ我的快乐病毒、 2023-10-18 09:37 62阅读 0赞

## 为什么要分库分表和读写分离？ ##

类似淘宝网这样的网站，海量数据的存储和访问成为了系统设计的瓶颈问题，日益增长的业务数据，无疑对数据库造成了相当大的负载，同时对于系统的稳定性和扩展性提出很高的要求。随着时间和业务的发展，数据库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大；另外，无论怎样升级硬件资源，单台服务器的资源（CPU、磁盘、内存、网络IO、事务数、连接数）总是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。分表、分库和读写分离可以有效地减小单台数据库的压力。

## 分库分表的原理和实现 ##

**1.什么是分区、分表、分库**

**分区**

就是把一张表的数据分成N个区块，在逻辑上看最终只是一张表，但底层是由**N个物理区块组成的，**分区实现比较简单，数据库mysql、oracle等很容易就可支持。

**分表**

就是把一张表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明，然后操作它。

**分库**

一旦分表，一个库中的表会越来越多

> 将整个数据库比作图书馆，一张表就是一本书。当要在一本书中查找某项内容时，如果不**分章节**，查找的效率将会下降。而同理，在数据库中就是**分区**。

**2.什么时候考虑使用分区？**

一张表的查询速度已经慢到影响使用的时候。

*  sql经过优化
 *  数据量大
 *  表中的数据是分段的
 *  对数据的操作往往只涉及一部分数据，而不是所有的数据

**分区解决的问题**

主要可以提升查询效率

**分区的实现方式（简单），例如：**

> mysql5 开始支持分区功能
> 
> CREATE TABLE sales (
> 
> id INT AUTO\_INCREMENT,
> 
> amount DOUBLE NOT NULL,
> 
> order\_day DATETIME NOT NULL,
> 
> PRIMARY KEY(id, order\_day)
> 
> ) ENGINE=Innodb
> 
> PARTITION BY RANGE(YEAR(order\_day)) (
> 
> PARTITION p\_2010 VALUES LESS THAN (2010),
> 
> PARTITION p\_2011 VALUES LESS THAN (2011),
> 
> PARTITION p\_2012 VALUES LESS THAN (2012),
> 
> PARTITION p\_catchall VALUES LESS THAN MAXVALUE);

**3.什么时候考虑分表？**

*  一张表的查询速度已经慢到影响使用的时候。
 *  sql经过优化
 *  数据量大
 *  当频繁插入或者联合查询时，速度变慢

**4.分表解决的问题**

分表后，单表的并发能力提高了，磁盘I/O性能也提高了，写操作效率提高了

*  查询一次的时间短了
 *  数据分布在不同的文件，磁盘I/O性能提高
 *  读写锁影响的数据量变小
 *  插入数据库需要重新建立索引的数据减少

**5.分表的实现方式（复杂）**

需要业务系统配合迁移升级，工作量较大。

**6.常见分表、分库常用策略：**

1.平均进行分配hash(object)%N(适用于简单架构)。

2.按照权重进行分配且均匀轮询。

3.按照业务进行分配。

4.按照一致性hash算法进行分配(适用于集群架构，在集群中节点的添加和删除不会造成数据丢失，方便数据迁移)。