mysql高可用详解（八）：数据分片

喜欢ヅ旅行 2022-05-18 05:39 512阅读 0赞

分片技术的背景：横向扩展的方式可以很好的解决读负载的操作，但是无法解决写负载增加的问题；

【将数据库分解的方式】

功能分隔：将某些表分别放在不同的机器上；

水平分隔：将某些表分隔成不同的行分别存储在不同的机器上；

【数据分片】

扩展写操作最直接的方法就是服务器之间不再有复制机制，这样它们就是完全分离的。通过这种结构，就可以将数据分成两个完全独立的自己，然后将客户端定向到它试图改变的数据所在的分区，从而实现扩展写操作。这样，此次更新处理并不需要其他分片消耗资源。  这种分隔数据的方式称为分片（sharding，又称为水平分隔），每个分区称为一个分片（shard）；

【分片的好处】

（1）将数据放在距离用户较近的地方；

（2）减少工作集（working set）的大小。

检索表的算法在表较小的时候会更有效，即使同一个机器上有多个分片，这样也能够提高性能。但是，在单个机器上存储多个分片有技术限制和额外开销，所以需要在分片的数目和分片的大小之间权衡；

确定表的最佳大小需要监控MySQL服务器和In能偶DB。搞清楚扫描一行平均需要多少次I/O操作，确定是否需要让分片更小一点；

（3）分发工作；

将工作并行化；

注意：并不是数据库中所有的表都需要进行分片。可以将某些大表进行拆分。然后在每个分片上对小表做全量副本（这些通常就是全局表）

【分片的局限性】

需要选择一个分片索引，保证查询结果在分片或者不分片数据库上是一样的；

有些情况下，用分片索引来解决问题是不可行甚至是不可能的，因为这要求重写查询（或者完全丢弃这个查询），有两个问题需要解决：跨分片连接（cross-shard joins）和AUTO\_INCREMENT列

**跨分片连接：》**

最重要的一个局限点就是跨分片连接。由于表是分片的，所以连接属于不同分片的两张表的结果，与在一个不分片的数据库中的查询结果不可能一样；

使用跨分片连接最常见的情况是做报表：这通常需要收集整个数据库的信息。有两种方式：

（1）使用map-reduce的方式进行查询，将查询发送到所有的分片，然后将查询结果收集到单个结果集中；

（2）将所有的分片复制到某个单独的报表服务器，然后在报表服务器上运行查询；

**使用AUTO\_INCREMENT****：》**

在分片环境中，使用AUTO\_INCREMENT创建列的唯一标识是行不通的。

因为分片不会同步它们的AUTO\_INCREMENT标识符。也就是说，如果向一个分片插入一行，另一个分片可能也在使用相同的标识符。

如果真的需要一个唯一的标识符，大致有以下两种方法：  
（1）生成一个唯一的UUID

缺点是UUID占用16个字节，同一个UUID出现在不同分片中（可能性很小）；

（2）使用复合标识符（composite identifier）。

ShardID（分片标识符）+LocalID（本地生成的标识符比如AUTO\_INCREMENT）

【分片方案的要素】

对数据库如何进行分片最终是由用户想要执行什么样的查询决定的；

1、确定如何为应用分区（partition）。哪些表应该分隔？哪些表在所有分片上都应该有？应该在什么列上进行分片？

2、确定需要什么分片元数据（即关于分片的信息）以及如何管理元数据。包括如何将分片分配到MySQL服务器，如何将分片关键字映射到分片，以及“分片数据库”需要存储哪些数据；

3、确定如何分发查询。包括如何获取分片关键字将查询和事务定向到正确的分片；

4、创建分片管理的模式。包括如何监控分片负载，如何迁移分片，如何通过分隔和合并分片使系统重新负载均衡；

【高级分片架构】

查询来自于应用程序，然后由broker接收。broker决定查询将被发送到哪里，可能需要分局一个记录分片信息的分片数据库来决定。然后，查询将被发送到一个或者多个应用数据库的分片上执行。broker收集这些执行结果，有可能会对结果集进行处理，然后把这些信息发送回应用程序；

【数据分区】

将每一个数据项写入到某个特定的服务器，能够有效的对写操作进行扩展。但是这对于扩展性来说还是不够：高效的数据检索同样重要，为此，需要将相关数据放在一起。因此，高效分片的最大挑战是创建一个高效的分片索引（sharding index），使得经常一起访问的数据落在同一个分片上。你会发现，分片索引是定义在多个表的多个列上或者是每个表的多个列上。分片索引将决定哪些表需要分片，以及如何进行分片；

**补充：**

**自动计算可能的分片索引:****使用MySQL****的information\_schema****模式，能够计算出相关列上所有可能的分片索引；**

USE  information\_schema;

SELECT

GROUP\_CONCAT(CONCAT\_WS(‘.’table\_schema,table\_name,column\_name)

)AS indexes

FROM

key\_column\_usage JOIN table\_constraints

USING(table\_schema,table\_name,constraint\_name)

WHERE

constraint\_type=’FORENGN KEY’

GROUP BY

referenced\_table\_schema,

referenced\_table\_name,

referenced\_column\_name

ORDER BY

table\_schema,table\_name,column\_name;

【分配分片】

《每个服务器上一个分片》

《每个服务器上多个分片（虚拟分片）》

【映射分片关键字】

【分片方案】

《静态分片方案》

《动态分片方案》

【分片映射函数】

《区间映射》

《哈希映射和一致性映射》

【处理查询和事务调度】

【处理事务】

【分配查询】

【分片管理】

《将分片迁移到其他的节点》

【分隔分片】

发表评论取消回复

表情：

评论列表（有 0 条评论，512人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

什么是MYCAT：一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替

男娘i/ 2023年10月17日 15:51/ 0 赞/ 83 阅读

相关 Mysql高可用-----MHA

一、 MHA简介 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（

柔情只为你懂/ 2022年10月02日 01:45/ 0 赞/ 228 阅读

相关 MySQL高可用浅析

对于多数应用来说，MySQL都是作为最关键的数据存储中心的，所以，如何让MySQL提供HA服务，是我们不得不面对的一个问题。当master当机的时候，我们如何保证数据尽可能的不

ゞ浴缸里的玫瑰/ 2022年08月08日 06:51/ 0 赞/ 161 阅读

相关 mysql高可用详解（八）：数据分片

分片技术的背景：横向扩展的方式可以很好的解决读负载的操作，但是无法解决写负载增加的问题；【将数据库分解的方式】功能分隔：将某些表分别放在不同的机器上；水平分隔：将某

喜欢ヅ旅行/ 2022年05月18日 05:39/ 0 赞/ 513 阅读

相关 mysql高可用详解（七）：高可用的复制

【冗余】如果一个组件出现故障，必须有一个替代品。该替代品既可以是闲置的，也可以是当前系统部署的一部分；【应急计划】为每个紧急事件都做好了计划

迷南。/ 2022年05月18日 05:39/ 0 赞/ 243 阅读

相关 mysql高可用详解（四）：二进制日志

【二进制日志的结构】二进制日志事件又称为binlog事件存储在一系列的binlog文件中，另外还有一个binlog的索引文件，用来追踪已有的binlog文件。当前服务器

一时失言乱红尘/ 2022年05月18日 05:39/ 0 赞/ 189 阅读

相关 mysql高可用详解（三）：mysql复制的原理

【通过热备份达到高可用性】如果服务器宕机，一切都将停止：不能执行（可能很关键的）事务，无法得到用户信息，严重破坏业务。最简单的方式就是配置一个额外的服务器专门作为热备份（h

谁践踏了优雅/ 2022年05月18日 05:39/ 0 赞/ 183 阅读

相关 mysql高可用详解（二）：MySQL Replicant

MySQL Replicant库是由作者们开发的用于管理复制的简单库。 Replicant库的基本思想是建立一个服务器间的连接模型（可以使用任何的计算机，比如笔记本电脑），设

港控/mmm°/ 2022年05月18日 05:38/ 0 赞/ 166 阅读

相关 mysql高可用详解（一）：简介

背景为一个大型的企业保障数据库： 1：为核心业务数据提供灾难恢复计划。这个过程可能需要执行不止一次； 2：计划管理大量用户库，监控各节点的负载，并提供优化方案；

末蓝、/ 2022年05月18日 05:38/ 0 赞/ 147 阅读

相关详解Mysql 高可用方案之 Failover mha

在分布式系统中，我们往往会考虑系统的高可用，对于无状态程序来讲，高可用实施相对简单一些，纵向、横向扩展起来相对容易，然而对于数据密集型应用，像数据库的高可用，就不太好扩展。

女爷i/ 2022年04月27日 22:14/ 0 赞/ 178 阅读