从mysql的sharding看多源复制

朴灿烈づ我的快乐病毒、 2022-04-27 17:18 165阅读 0赞

多源复制（Multi-Source Replication）最初由阿里云数据库RDS团队提出并实现的，主要在 MySQL 基于 Binary Log 单向一对多复制的基础上，实现了节点之间的多对多的复制，使数据可以在多个节点上自由聚合和拆分。在 MySQL 5.7.6 版本被官方收录并正式发布。

提问：如果现有业务数据库（trade）已经基于买家（buyerId）作为拆分键实施了db sharding，意味这你所有的查询必须基于buyerId，那对于有基于卖家（sellerId）的查询需要怎么办？

是的，这确实是个难题！

一般而言能想到的方法：

1.  保留原始映射，要先找到buyerId，在查询sellerId类需求时添加where条件buyerId
2.  基于sellerId继续拆分，也就是说拆分键有两个：buyerId、sellerId

这些确实比较凑合的方案，难道就没有别的方式了吗？

有的，我在之前已经分享[数据库主从复制][Link 1]，它更多呈现的是对称复制（主从的数据与结构一致，见下图1），其实mysql最新的版本也支持非对称复制（而多源复制就是其中一种表现形态，见下图2）。

![2019061011354387.png][]

![20190610113230671.png][]

### 使用手册 ###

**1. 配置多源复制**

多源复制拓扑至少需要配置两个主设备和一个从设备。

**Master**

多源复制拓扑中的主服务器可以配置为使用基于两种方式：

1. 基于全局事务标识符（GTID）的复制

可参阅 [Section 16.1.3.4, “Setting Up Replication Using GTIDs”][Section_16.1.3.4_ _Setting Up Replication Using GTIDs]，启用配置 `gtid_mode=ON`，启用一个用于复制用户，并确保slave使用基于**TABLE**的复制存储库。

> 使用端口3451将主机名为master1的新主机添加到名为master-1的管道中
> 
> CHANGE MASTER TO MASTER\_HOST='master1', MASTER\_USER='rpl', MASTER\_PORT=3451, MASTER\_PASSWORD='', \\  
> MASTER\_AUTO\_POSITION = 1 FOR CHANNEL 'master-1';

2. 基于二进制日志位置的复制

[“Setting the Replication Master Configuration”][Setting the Replication Master Configuration] 中有使用基于文件位置的复制的配置，启用配置`--log-bin`，启用一个用于复制用户，记录在当前二进制日志位置，并确保slave使用基于**TABLE**的复制存储库。

> 使用端口3451将主机名为master1的新主机添加到名为master-1的管道：
> 
> CHANGE MASTER TO MASTER\_HOST='master1', MASTER\_USER='rpl', MASTER\_PORT=3451, MASTER\_PASSWORD='' \\  
> MASTER\_LOG\_FILE='master1-bin.000006', MASTER\_LOG\_POS=628 FOR CHANNEL 'master-1';

**slave**

多源复制拓扑中的从服务器需要基于**TABLE**的存储库。多源复制与基于**FILE**的存储库不兼容。mysqld使用的存储库类型可以在启动时配置，也可以动态配置。请使用以下选项启动mysqld：\--master-info-repository=TABLE --relay-log-info-repository=TABLE

#也可以动态调整命令为：
    STOP SLAVE; #如果主从复制正在进行，需要先停掉
    SET GLOBAL master_info_repository = 'TABLE';
    SET GLOBAL relay_log_info_repository = 'TABLE';

设置完**Master**源后，启动**slave进行**复制

START/STOP SLAVE;                           //启动或停止所有线程所有管道的复制  
START/STOP SLAVE SQL\_THREAD;  //启动或停止所有管道的SQL\_THREAD线程  
START/STOP SLAVE IO\_THREAD;     //启动或停止所有管道的IO\_THREAD线程

RESET SLAVE;                                                            //重置所有管道  
RESET SLAVE FOR CHANNEL CHANNELNAME;    //重置单一管道

SHOW SLAVE STATUS                       //检查复制状态

比如：

START SLAVE FOR CHANNEL 'master\_3306';  
START SLAVE SQL\_THREAD FOR CHANNEL 'master\_3306';  
START SLAVE IO\_THREAD FOR CHANNEL 'master\_3306';

更多参阅[官方文档][Link 2]

### 多源复制监视 ###

它提供了使用复制性能模式表来监视管道（channel）。您可以选择监视所有管道或现有管道的一个子集。

要监视所有管道的连接状态：SELECT \* FROM replication\_connection\_status

*************************** 1. row ***************************
    CHANNEL_NAME: master1
    GROUP_NAME:
    SOURCE_UUID: 046e41f8-a223-11e4-a975-0811960cc264
    THREAD_ID: 24
    SERVICE_STATE: ON
    COUNT_RECEIVED_HEARTBEATS: 0
    LAST_HEARTBEAT_TIMESTAMP: 0000-00-00 00:00:00
    RECEIVED_TRANSACTION_SET: 046e41f8-a223-11e4-a975-0811960cc264:4-37
    LAST_ERROR_NUMBER: 0
    LAST_ERROR_MESSAGE:
    LAST_ERROR_TIMESTAMP: 0000-00-00 00:00:00
    *************************** 2. row ***************************
    CHANNEL_NAME: master2
    GROUP_NAME:
    SOURCE_UUID: 7475e474-a223-11e4-a978-0811960cc264
    THREAD_ID: 26
    SERVICE_STATE: ON
    COUNT_RECEIVED_HEARTBEATS: 0
    LAST_HEARTBEAT_TIMESTAMP: 0000-00-00 00:00:00
    RECEIVED_TRANSACTION_SET: 7475e474-a223-11e4-a978-0811960cc264:4-6
    LAST_ERROR_NUMBER: 0
    LAST_ERROR_MESSAGE:
    LAST_ERROR_TIMESTAMP: 0000-00-00 00:00:00
    2 rows in set (0.00 sec)

更多可参阅[官方介绍][Link 3]。![91039794][]

### 引用资料 ###

*  [阿里云获MySQL社区2018年度公司贡献奖][MySQL_2018]

[Link 1]: https://blog.csdn.net/alex_xfboy/article/details/84943377
[2019061011354387.png]: /images/20220121/7f7689dc3f0d4aedbeff1100fc2c4a8b.png
[20190610113230671.png]: /images/20220121/cb72e7bc5901479aba5b2f384b993d20.png
[Section_16.1.3.4_ _Setting Up Replication Using GTIDs]: https://dev.mysql.com/doc/refman/5.7/en/replication-gtids-howto.html
[Setting the Replication Master Configuration]: https://dev.mysql.com/doc/refman/5.7/en/replication-howto-masterbaseconfig.html
[Link 2]: https://dev.mysql.com/doc/refman/5.7/en/replication-multi-source-tutorials.html
[Link 3]: https://dev.mysql.com/doc/refman/5.7/en/replication-multi-source-monitoring.html
[91039794]: /images/20220121/52b569f5bfec4130bebda8849c0dbdca.png
[MySQL_2018]: https://zhuanlan.zhihu.com/p/36075490