金融应用场景下跨数据中心的MGR架构方案（1）

野性酷女 2022-10-10 06:11 135阅读 0赞

本文来源：原创投稿

\* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。

## 0. 内容提纲 ##

*  1. 运行环境
 *  2. 部署MGR A&B
 *  3. 部署MGR A、B之间的复制通道
 *  4. 几个注意事项

> 如何在多个数据中心部署多套MySQL MGR集群以便快速切换。

在金融应用场景下，经常会要求在同城多中心部署高可用数据库架构，以期实现在发生故障时能达到快速切换的目标。

在同一个数据中心内，可以部署MGR集群，就可以实现快速灵活切换。

而即便是在同城，跨数据中心时，网络条件好的话，延迟可能也在 1ms 之内。这种网络条件下，如果要在同城多中心部署MGR集群也是可以尝试的（如果业务并发量不是特别高的话），但考虑到多数据中心间有较大概率会出现光缆被挖断等风险，所以还是不建议这么做。

因此，最好还是在同一个数据中心内部署一套独立的MGR集群，再通过主从复制（replication）方式（可以是异步复制或半同步复制），把数据复制一份到另一个数据中心内的MGR集群里，这样一旦主机房出现异常时，就可以快速切换到备用机房了，并且不担心数据库的高可用保障等级。

![6d185f0ca9665b4fe9ac983fde11ce02.png][]

上面该方案的架构示意图。

接下来一起来完成这个架构方案的实施。

## 1. 运行环境 ##

本次采用3个节点部署这套架构，各节点用途说明见下

<table> 
 <thead> 
  <tr> 
   <th>节点</th> 
   <th>IP</th> 
   <th>用途</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Node1</td> 
   <td>172.16.16.10</td> 
   <td>MGR A &amp; B 主节点（分配不同端口，多实例方式，下同）</td> 
  </tr> 
  <tr> 
   <td>Node2</td> 
   <td>172.16.16.11</td> 
   <td>MGR A &amp; B 从节点</td> 
  </tr> 
  <tr> 
   <td>Node3</td> 
   <td>172.16.16.12</td> 
   <td>MGR A &amp; B 从节点</td> 
  </tr> 
 </tbody> 
</table>

每个节点上都运行两个实例，分别是3306、4306端口，其中3306端口的实例构成MGR A集群，4306端口的实例构成MGR B集群。

除了MySQL官方社区版本外，如果想体验更可靠、稳定、高效的MGR，推荐使用GreatSQL版本。本文采用GreatSQL 8.0.22版本，关于这个版本的说明详见 [GreatSQL，打造更好的MGR生态][GreatSQL_MGR]。

## 2. 部署MGR A&B ##

按照常规方式部署MGR即可，下面是一份关键配置参考：

group_replication_single_primary_mode=ON
    log_error_verbosity=3
    group_replication_bootstrap_group=OFF 
    group_replication_transaction_size_limit=<默认值150MB，但建议调低在20MB以内，不要使用大事务>
    group_replication_communication_max_message_size=10M
    group_replication_flow_control_mode=“DISABLED” #官方版本的流控机制不太合理，其实可以考虑关闭
    group_replication_exit_state_action=READ_ONLY
    group_replication_member_expel_timeout=5 #如果网络环境不好，可以适当调高
    
    slave_parallel_type=LOGICAL_CLOCK
    slave_parallel_workers=128 #可以设置为逻辑CPU数量的2-4倍
    binlog_transaction_dependency_tracking=writeset
    transaction_write_set_extraction=XXHASH64
    slave_checkpoint_period=2

更多关于MGR以及复制的配置参考这份指南：[MGR最佳实践][MGR]。

启动MGR A，确认工作正常：

用同样的方法，再部署MGR B，并确认工作正常：

确认上述2个MGR集群以及各个节点的 **server\_uuid** 都不一样。

## 3. 部署MGR A、B之间的复制通道 ##

从MySQL 5.7开始，支持**多源复制（Multi-Source Replication）**，因此我们可以很方便的利用多源复制，在两个MGR集群之间再构建一个复制通道。

这个复制通道，既可以选择 **异步复制（Asynchronous Replication）**，也可以选择 **半同步复制（Semisynchronous Replication）**，可以根据两个MGR集群之间的网络状况，以及实际业务需要评估决定。

本案选择半同步复制方案，这仅限于实验目的，不表示我们推荐大家也采用半同步方案。

相应地，下面也是一份半同步的参考配置，大家可根据实际情况适当调整：

rpl_semi_sync_master_timeout=2592000000
    rpl_semi_sync_master_wait_for_slave_count=1
    rpl_semi_sync_master_wait_point=AFTER_SYNC

在MGR B的Pirmary节点上创建半同步复制通道（记得设置通道名）：

[root@GreatSQL mgrB-1][(none)]> CHANGE MASTER TO
    MASTER_HOST='172.16.16.10', MASTER_PORT=3306, 
    MASTER_USER='repl', MASTER_PASSWORD='repl',
    MASTER_AUTO_POSITION=1
    FOR CHANNEL 'mgrA-to-mgrB-semisync' ;

确认半同步复制生效：

[root@GreatSQL mgrB-1][(none)]> SHOW REPLICA STATUS\G
                 Replica_IO_State: Queueing master event to the relay log
                      Source_Host: 172.16.16.10
                      Source_User: repl
                      Source_Port: 3306
    ...
               Replica_IO_Running: Yes
              Replica_SQL_Running: Yes
    ...
                      Source_UUID: 5499a6cb-91cb-11eb-966f-525400e802e2
    ...
        Replica_SQL_Running_State: waiting for handler commit
    ...
               Retrieved_Gtid_Set: f195537d-19ac-11eb-b29f-5254002eb6d6:17-36885051:36885053:36885057:36885059:36885064:36885067
                Executed_Gtid_Set: 476c0276-be03-11eb-bd34-525400e802e2:1-5,
    f195537d-19ac-11eb-b29f-5254002eb6d6:1-36884719:36884727:36884729-36884732:36884734-36884737
                    Auto_Position: 1
             Replicate_Rewrite_DB:
                     Channel_Name: mgrA-to-mgrB-semisync
    ...

P.S，上面的信息是已经运行一段时间后截取出来的，所以GTID的值看起来比较大。

也可以用类似的方法构建传统的异步复制通道，以及双向复制通道，都是可以的。

## 4. 几个注意事项 ##

1.  两个MGR集群各节点的 **server\_uuid** 确保不重复。
2.  两个MGR集群的名字（**group\_replication\_group\_name**）确保不重复。
3.  构建完复制通道后，MGR B里的Primary节点最好也要设置为只读（**super\_read\_only=1**），避免误操作写入数据。
4.  两个MGR集群之间也要定期校验数据一致性，不管是异步复制还是（增强）半同步复制，乃至MGR都还存在多个丢数据的BUG，不能盲目乐观相信用了增强版同步/MGR就能保证数据一致性了。

本文先介绍基于多数据中心、多套MGR的架构方案。下一次再进一步介绍当发生故障或其他异常需要进行高可用切换的方案。

Enjoy GreatSQL :)

--------------------

**文章推荐：**

*  [技术分享 | MGR最佳实践(MGR Best Practice)][_ MGR_MGR Best Practice]
 *  [技术分享 | 万里数据库MGR Bug修复之路][_ _MGR Bug]
 *  [技术分享  | InnoDB Cluster+GreatSQL快速部署MGR集群，并实现读写分离和故障自动转移（超详细）][_ InnoDB Cluster_GreatSQL_MGR]
 *  [技术分享   | 利用GreatSQL部署MGR集群，并完成添加新节点 、滚动升级、切主（超详细）][_ _ _GreatSQL_MGR_]
 *  [《叶问》34期，延迟从库加上MASTER\_DELAY，主库宕机后如何快速恢复服务][34_MASTER_DELAY]  
    
 *  [《叶问》33期，MGR最佳配置参考，PFS里的监测指标要全开吗，mysqld进程占用内存过高怎么排查][33_MGR_PFS_mysqld]
 *  [MySQL 复制延迟 Seconds\_Behind\_Master 究竟是如何计算的][MySQL _ Seconds_Behind_Master]  
    
 *  [GreatSQL MGR优化参考][GreatSQL MGR]  
    
 *  [GreatSQL，打造更好的MGR生态][GreatSQL_MGR 1]

--------------------

扫码加入GreatSQL/MGR交流**QQ群**

![703e7979f250fe3fb0f6c009addbbd24.png][]

点击文末“**阅读原文**”直达「叶问」专栏

[6d185f0ca9665b4fe9ac983fde11ce02.png]: /images/20221005/db1c4356b30a4f568896923db41eb0e7.png
[GreatSQL_MGR]: https://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&idx=1&mid=2247483656&scene=21&sn=ca60b3875450cd3dfaad3519b12c9dcb#wechat_redirect
[MGR]: https://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&idx=1&mid=2247484174&scene=21&sn=4f795e889e3778876b09143c4ffdc770#wechat_redirect
[_ MGR_MGR Best Practice]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6633f518ef25f19309e4b01ce5d4527d945a2a030b66a9d9bbaa598cb668eca30cb91a0f&idx=1&mid=2247484174&scene=21&sn=4f795e889e3778876b09143c4ffdc770#wechat_redirect
[_ _MGR Bug]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f64abf518edbdb278f1c21e98e39dc73b78397d01c2d583450a1da6d72a4ff32a0ec6db9c&idx=1&mid=2247483798&scene=21&sn=21fc1b1797074e002e1c684263b731e8#wechat_redirect
[_ InnoDB Cluster_GreatSQL_MGR]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b43308a4cca26c2db9912a9ce5e2d73df1a10e7415f83538742b92e5475a0b11b88e39f4c&idx=1&mid=2653935962&scene=21&sn=38f2acfb147f16ae8daaa6a48a3102ae#wechat_redirect
[_ _ _GreatSQL_MGR_]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b43258a4cca336b0260c6b9cfc363f10596c775bdd0408d89dca855f3c7949911aa50ec8f&idx=1&mid=2653935951&scene=21&sn=ec8794371cd6f7677a5355b7e7ac39ea#wechat_redirect
[34_MASTER_DELAY]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b43268a4cca301fa05c3dc7afd2bb5420763848af3c4e50e58b0f232e29caba77c2f93f4b&idx=1&mid=2653935948&scene=21&sn=3355e702d41109e375297b0bb6c77f84#wechat_redirect
[33_MGR_PFS_mysqld]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b436b8a4cca7ddf138db1d2342aa19f0452bff97beb2f5015cf0eb377a7d2a6899d1c3c05&idx=1&mid=2653935873&scene=21&sn=7511853d63145b7d72ae533586b6ad81#wechat_redirect
[MySQL _ Seconds_Behind_Master]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b518d8a4cd89b8b5a4e5a97b8d55cc3cf179b767665ee2661991207baa5e74be4ef88fa2e&idx=1&mid=2653932519&scene=21&sn=e018ea5f3bc86f8a6862a35c4b805652#wechat_redirect
[GreatSQL MGR]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b42c78a4ccbd1d08d39f6869bfd01dca3645e5096e419ab35474c261317c71d55876a6543&idx=1&mid=2653935789&scene=21&sn=936dfa64b0e2e957bd23086c0212d8e9#wechat_redirect
[GreatSQL_MGR 1]: http://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ%3D%3D&chksm=bd3b42fd8a4ccbebac385c47daf7bca40415b09b1298b6b1b7fc0c7822d147ab157ba35e7d03&idx=1&mid=2653935767&scene=21&sn=3f396b10f61629f6a09f29e364dc260b#wechat_redirect
[703e7979f250fe3fb0f6c009addbbd24.png]: /images/20221005/16d598cd8717468b833c458905717fda.png