分库分表（一）基础概念

约定不等于承诺〃 2023-10-04 21:13 51阅读 0赞

## 分库分表 ##

### 1、产生原因 ###

使用场景：秒杀、团购、预售、双十一等场景，对数据存储要求高，体现在数据最终一致性。

随之产生、数据量大、数据产生过快、数据访问频繁等问题。

以订单表**Order**包含30W数据量为例

分页查询第一页会非常快

select* form order limit 0,100
    耗时 0.026s

如果从中间开始查询100条

select* form order limit 20000,100
    耗时0.370s

### 2、分片策略 ###

数据分片指按照某个维度将存放在单一数据库中的数据分散的存放在多个数据库或表中以达到提升性能瓶颈以及可用性的效果。

**取模分片**

例以 id%2 = 1 分配到第一个order\_1表， id%2 = 00

优点：数据存放比较均匀

缺点：当需要扩容的时候，需要对大量数据进行迁移

**按范围分片**

按地区、月份动态扩容分表，像天猫数据集中在双11产生，会造成数据倾斜

优点：数据扩容不需要迁移

缺点：数据存放不均匀

### 3、垂直分片与水平分片 ###

这里指数据分散存储到多个数据库或者表中，达到分散单台设备负载的效果。

**垂直分片**

**表的垂直拆分，把原来一个有很多列的表按业务归类拆分成多个表，每个表代表不同的业务方向**

**库的垂直拆分，按照业务将表进行分类，分布到不同的数据库上，每个库可以放在不同的服务器上。例如以读、写分为两个数据库。**

垂直分片主要指的是数据库垂直分片：

优点：主要解决数据库I/O压力

缺点：单表数据量大时候，任然无法解决数据库访问慢问题

**水平分片**

**单表列结构完全相同，水平复制N个表，查询结果等于N张表数据汇集之和**

优点：解决大表数据量过大问题

缺点：连接查询不方便、要考虑分布式事务等问题

### 4、设计零迁移扩容分片解决方案 ###

先按月份范围分片，再按分片组以节点数取模分片。

### 5、分库需要解决那些问题 ###

5.1主键唯一性

UUID（不适用），效率慢

5.2分布式事务

如何在保证事务情况下，数据库快速相应，同时要结合业务设计

5.3SQL路由

SQL分发到哪个节点查询，最差情况查询所有分表，优化不同的路由策略，

解决场景有，in查询、范围查询、排序、使用函数等

### 6、使用场景 ###

*  三年内单表数据量大于500W
 *  读多写少适合
 *  逻辑固定，业务逻辑与分片逻辑绑定，会给SQL带来限制。数据查询逻辑变化大不建议使用。

### 7、多数据源与分库分表区别 ###

**分库分表**

管理多个数据源，实现逻辑是SQL优化、改写、归并等一系列操作。

SQL解析->查询优化->SQL路由->SQL改写->SQL执行->结果归并

重点是处理SQL。

**多数据源切换**

仅仅关注数据源切换，不关注数据库的执行

像Spring提供AbstractRoutingDataSource、dynamic-datasource实现数据库源，实现业务中如读、写库逻辑。

发表评论取消回复

表情：

评论列表（有 0 条评论，51人围观）

还没有评论，来说两句吧...

相关阅读

相关分库分表基本概念

什么是分库分表分库分表是在海量数据下，由于单库、表数据量过大，导致数据库性能持续下降的问题，演变出的技术方案。分库分表是由`分库`和`分表`这两个独立概念组成的，只

我就是我/ 2024年02月21日 07:14/ 0 赞/ 53 阅读

相关【分库分表】分库分表 Sharding-JDBC

文章目录前言一、基本概念 1.1、表 1.2、逻辑表 1.3、真实表 1.4、绑定表

本是古典何须时尚/ 2023年10月12日 22:32/ 0 赞/ 34 阅读

相关分库分表（一）基础概念

分库分表 1、产生原因使用场景：秒杀、团购、预售、双十一等场景，对数据存储要求高，体现在数据最终一致性。随之产生、数据量大、数据产生过快、数据访问频繁等问题。

约定不等于承诺〃/ 2023年10月04日 21:13/ 0 赞/ 52 阅读

相关分库分表之_分库分表

前言 Github：[https://github.com/HealerJean][https_github.com_HealerJean] 博客：[http://blog

你的名字/ 2023年07月20日 12:30/ 0 赞/ 23 阅读

相关分库分表之ShardingSphere概念

1. 问题带着下面一些问题，我们开始学习分库分表 > 1）逻辑表是什么 > > 2）真实表是什么 > > 3）数据节点是什么 > > 4）绑定表是什么 >

- 日理万妓/ 2023年06月23日 13:17/ 0 赞/ 29 阅读

相关快速入门分库分表概念原理

什么是分库分表其实 `分库` 和 `分表` 是两个概念，只不过通常分库与分表的操作会同时进行，以至于我们习惯性的将它们合在一起叫做分库分表。分库分表是为了解决由于库

我会带着你远行/ 2023年01月17日 08:47/ 0 赞/ 130 阅读

相关 Sharding-JDBC分库不分表、分库分表，主从分库分表

分库不分表、分库分表，主从分库分表分库不分表 server: port: 8800 mybatis: confi

柔光的暖阳◎/ 2022年12月30日 15:53/ 0 赞/ 290 阅读

相关 Sharding-JDBC基础概念与分表不分库

分表不分库基础概念逻辑表：水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：订单数据根据主键尾数拆分为10张表，分别是t\_order\_0到t\_

本是古典何须时尚/ 2022年12月30日 07:59/ 0 赞/ 132 阅读

相关 mysql分库分表（一）

分库：缺点：写压力 ![70][] 分表： ![70 1][] 水平拆分：对一个库中的相关表进行水平拆分到不同实例的数据库中对独立的数据库进行分片：一个订

朴灿烈づ我的快乐病毒、/ 2022年05月26日 09:46/ 0 赞/ 220 阅读

相关 mysql分库分表(一)

微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路数据库分库分表策略的具体实现方案相关文章： 1、 [使用Spring AOP实现MySQL数据库读写分

本是古典何须时尚/ 2021年09月20日 18:34/ 0 赞/ 361 阅读