面向金融级应用的GreatSQL正式开源

我不是女神ヾ 2022-09-09 06:10 159阅读 0赞

本文首发于 GreatSQL社区 微信公众号。

经过几个月的紧张筹备，GreatSQL宣布正式开源。

GreatSQL是源于Percona Server的分支版本，除了Percona Server已有的稳定可靠、高效、管理更方便等优势外，特别是进一步提升了MGR（MySQL Group Replication）的性能及可靠性，以及众多bug修复。此外，GreatSQL还合并了由华为鲲鹏计算团队贡献的两个Patch，分别针对OLTP和OLAP两种业务场景，尤其是InnoDB并行查询特性，TPC-H测试中平均提升聚合分析型SQL性能15倍，最高提升40多倍，特别适用于周期性数据汇总报表之类的SAP、财务统计等业务。

GreatSQL可以作为MySQL或Percona Server的可选替代方案，用于线上生产环境。

GreatSQL完全免费并兼容MySQL或Percona Server。

GreatSQL由万里数据库发起、主导、维护，也欢迎广大MySQL使用者、爱好者下载使用，或者提交代码、issue等。

## 1. 使用MySQL社区版存在什么风险 ##

万里数据库核心研发团队深入研究MGR架构，并在不断的BUG修复实践中总结出了一套完善、流畅的BUG修复流程，将MGR的缺陷分为BUG和性能两类，整理出共16大类共数几十个BUG及性能缺陷问题。

![29b6f522267495a7a4a9bd9c0209ec6f.png][]

搜索MySQL官方bug站，可以看到MGR分类下未修复的bug数量还是比较多的：

![4a92a2df51b063542f3a1feb410906b0.png][]

![d0a14d431bb551763c628fa92b1e33b9.png][]

当服务器配置高，网络环境好，业务量小的时候，这些MGR相关的bug可能不容易碰到。如果是网络环境稍微复杂一些，例如同城多数据中心环境，甚至跨交换机，都可能会遇到网络分区条件下的一些bug。或者当业务量较大，负载较高时，可能会产生丢数据、OOM，或事务频繁回滚、死锁等问题。

由于MGR自身的复杂性，以及复现BUG场景也更困难，所以MySQL社区版针对MGR的BUG修复工作通常比较缓慢，堆积较多。这也就造成了不少用户不太敢放心使用MySQL社区版的MGR，担心遇到各种不可控的BUG，甚至较严重的线程、事务hang住等问题，感觉还是不那么可靠。

而GreatSQL已经有效解决了绝大多数较严重的问题，可以更放心地在金融级应用场景使用MGR架构。

## 2. GreatSQL的优势及展望 ##

在金融级应用场景中，对数据的可靠性和架构的容错性要求都更高，对多数据中心甚至多活都有较高需求。为此，GreatSQL未来会在以下几方面着重发力。

### 2.1 增加更多金融级场景需求特性 ###

*  增加**地理标签**功能。当在多机房部署MGR时，可以保证每个机房中至少有一个节点都参与事务认证，确保该节点总有最新事务，这可用于解决多机房数据同步的问题。
 *  采用**全新的流控机制**，流控阈值计算更合理、细致，不会出现频繁性能抖动问题。
    
    更多企业级新特性正在持续完善中，后续的版本会陆续放出。

### 2.2 提升同城双机房和跨城架构部署的可靠性 ###

*  支持AFTER模式下多数派写机制。发生网络分区时，只要多数派节点已经回放完毕，集群就可以继续处理新的事务，依然可以保障集群的高可用性。
 *  解决磁盘空间爆满时导致MGR集群阻塞的问题。当发现某节点磁盘空间满了，就会让这个节点主动退出集群，避免像MySQL社区版那样整个集群被阻塞的问题。
 *  解决多主模式下或切主时可能导致丢数据的问题。调整了事务认证处理流程，改成放到 **applier queue** 里按照paxos顺序处理，这就解决了在多主模式下或切主时可能导致丢数据的问题。
 *  解决节点异常退出集群时导致性能抖动的问题。优化paxos通信机制，发生异常时只会产生约1~3秒的性能小抖动，最差时TPS可能只损失约20% ~ 30%。而MySQL社区版本可能会造成约20~30秒的性能抖动，最差时TPS可能有好几秒都降为0。下面两个图非常明显体现了GreatSQL针对这种情况所做的优化。
    
    **MySQL社区版**：5秒发现问题，22秒后将其踢出。  
    
    
    ![aed5dc52a46f039dd13b0bc1be317cda.png][]  
    
    
    **GreatSQL版本**：耗时约3秒即完全恢复，**时效提升约90%**。  
    
    
    ![1618dd58503ac4f6100f49e679a6d47a.png][]
 *  节点异常状态判断更完善，比MySQL社区版本能更快发现、判断节点异常状态，有效减少切主和异常节点的等待耗时。下面两个图体现了GreatSQL针对节点状态异常做出更快速准确的判断。
    
    **MySQL社区版**：5秒发现问题，22秒后将其踢出。
    
    ![22f6b62bae1a779bb5d9ca05e1b46dc8.png][]
    
    **GreatSQL版本**：2秒发现问题，9秒后将其踢出，**时效提升约60%**。  
    
    
    ![7cc86d1f5a22dd53d2c4b59df094b2c0.png][]

### 2.3 MGR性能提升 ###

*  优化事务认证队列清理算法。MySQL社区版本中，认证数据库采用类似全表扫描的方式，效率极低。优化后，采用基于类似索引机制，有效解决清理效率低、性能抖动大的问题。
 *  提高MGR吞吐量。经过优化，有效提升MGR的吞吐量，并减少网络延迟对访问性能的影响。
 *  提升一致性读性能，并降低从库只读延迟。

### 2.4 InnoDB事务锁以及并行查询优化 ###

合并了由华为鲲鹏计算团队贡献的两个Patch，分别针对OLTP和OLAP两种业务场景。

*  优化InnoDB事务锁机制，将原来的红黑树改为无锁哈希结构，在高并发场景中有效提升事务并发性能至少10%以上。

![24e0813e57a0c822e19182482272ebd9.png][]

*  实现对InnoDB底层B+树多个子树的并行扫描机制，极大提升聚合查询效率，TPC-H测试中，最高可提升30倍，平均提升15倍。
    
    特别适用于周期性数据汇总报表之类的SAP、财务统计等业务。

![254b174454b5ff7102339385b2d42991.png][]

### 其他更多企业级特性展望    ###

未来我们还计划将一部分企业级特性也开放出来，包括且不仅限于国产化硬件适配、等保合规、安全加密、Oracle兼容等众多特性。

## 3. GreatSQL VS MySQL社区版 ##

<table> 
 <thead> 
  <tr> 
   <th>特性</th> 
   <th>GreatSQL</th> 
   <th>MySQL社区版</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>地理标签</td> 
   <td>✅</td> 
   <td>❎</td> 
  </tr> 
  <tr> 
   <td>全新流控算法</td> 
   <td>✅</td> 
   <td>❎</td> 
  </tr> 
  <tr> 
   <td colspan="1">InnoDB并行查询优化</td> 
   <td colspan="1">✅</td> 
   <td colspan="1">❎</td> 
  </tr> 
  <tr> 
   <td colspan="1">InnoDB事务锁优化</td> 
   <td colspan="1">✅</td> 
   <td colspan="1">❎</td> 
  </tr> 
  <tr> 
   <td>网络分区异常应对</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>⭐️</td> 
  </tr> 
  <tr> 
   <td>大事务处理</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>⭐️</td> 
  </tr> 
  <tr> 
   <td>节点异常退出处理</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>⭐️</td> 
  </tr> 
  <tr> 
   <td>一致性读性能</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>⭐️</td> 
  </tr> 
  <tr> 
   <td>提升MGR吞吐量</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>⭐️</td> 
  </tr> 
  <tr> 
   <td>多写模式下可能丢数据</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>/</td> 
  </tr> 
  <tr> 
   <td>单主模式下切主丢数据</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>/</td> 
  </tr> 
  <tr> 
   <td>MGR集群启动效率</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>/</td> 
  </tr> 
  <tr> 
   <td>集群节点磁盘满处理</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>/</td> 
  </tr> 
  <tr> 
   <td>TCP self-connect问 题</td> 
   <td>⭐️⭐️⭐️⭐️⭐️</td> 
   <td>/<br><br></td> 
  </tr> 
 </tbody> 
</table>

GreatSQL代码已上传到gitee上，项目地址 https://gitee.com/GreatSQL/GreatSQL，欢迎围观、加星，也欢迎来“找茬”，提patch。

Enjoy GreatSQL :)

--------------------

**文章推荐：**

*  [技术分享 | MGR最佳实践(MGR Best Practice)][_ MGR_MGR Best Practice]
 *  [技术分享 | 万里数据库MGR Bug修复之路][_ _MGR Bug]
 *  [技术分享 | 浅谈mysql语法解析调试方法][_ _mysql]
 *  [万答\#6，MySQL最多只能用到128个逻辑CPU，是真的吗][6_MySQL_128_CPU]
 *  [GreatSQL重磅特性，InnoDB并行并行查询优化测试][GreatSQL_InnoDB]
 *  [技术分析 | 浅谈在MySQL体系下SQL语句是如何在系统中执行的及可能遇到的问题][_ _MySQL_SQL]
 *  [产品 | GreatSQL，打造更好的MGR生态][_ GreatSQL_MGR]
 *  [产品 | GreatSQL MGR优化参考][_ GreatSQL MGR]

--------------------

扫码加入GreatSQL/MGR交流**QQ群**

![e169d448abe3f2335228f05c6838f0c6.png][]

点击文末“**阅读原文**”直达GreatSQL项目主页

[29b6f522267495a7a4a9bd9c0209ec6f.png]: /images/20220829/482719ae32cd4dbeaa2e8113d60f08d1.png
[4a92a2df51b063542f3a1feb410906b0.png]: /images/20220829/f90105373e2f48fc8c6a3e70e4db8f6b.png
[d0a14d431bb551763c628fa92b1e33b9.png]: /images/20220829/de5debfb37934541a539093bf1d56ee6.png
[aed5dc52a46f039dd13b0bc1be317cda.png]: /images/20220829/c4357c04dbb74b3280ce1179dad07562.png
[1618dd58503ac4f6100f49e679a6d47a.png]: /images/20220829/d1f264ff5401488cb745247aa741e5d8.png
[22f6b62bae1a779bb5d9ca05e1b46dc8.png]: /images/20220829/c5f8d61ffabc4b54ade10305e74355ef.png
[7cc86d1f5a22dd53d2c4b59df094b2c0.png]: /images/20220829/281f2cde13684f92b55344c131d19939.png
[24e0813e57a0c822e19182482272ebd9.png]: /images/20220829/fedd3bbe74874357aab7836770334b9e.png
[254b174454b5ff7102339385b2d42991.png]: /images/20220829/2dfd950770614e239407169130e03c7f.png
[_ MGR_MGR Best Practice]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6633f518ef25f19309e4b01ce5d4527d945a2a030b66a9d9bbaa598cb668eca30cb91a0f&idx=1&mid=2247484174&scene=21&sn=4f795e889e3778876b09143c4ffdc770#wechat_redirect
[_ _MGR Bug]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f64abf518edbdb278f1c21e98e39dc73b78397d01c2d583450a1da6d72a4ff32a0ec6db9c&idx=1&mid=2247483798&scene=21&sn=21fc1b1797074e002e1c684263b731e8#wechat_redirect
[_ _mysql]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6dc7f518e4d130bf1ada37f0c668c8ba6781b2cf1d52f6c4bb2acb214eb6806e1f055b13&idx=1&mid=2247485690&scene=21&sn=b59ceea40cb20f0e561fec6ca4399f74#wechat_redirect
[6_MySQL_128_CPU]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6dfbf518e4edb765fabe58a5751af016079f31156f6bea96be5188e3ab5b5a7bcbc8fd3f&idx=1&mid=2247485638&scene=21&sn=f5f218e59e3b818cdf2b849d1b0e8342#wechat_redirect
[GreatSQL_InnoDB]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6d84f518e4927f50accd342cce0540907e482de2743b450552797a6d1ec48f31776a5aaf&idx=1&mid=2247485625&scene=21&sn=a93826d85d9e1648d01b80a47eb6f838#wechat_redirect
[_ _MySQL_SQL]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6d92f518e4848ecdacc8496cf964efca5f36109aba7bffc194652068c634c9b776be7374&idx=1&mid=2247485615&scene=21&sn=9ef31abf23401ed48bb96be33f8ff20f#wechat_redirect
[_ GreatSQL_MGR]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6435f518ed23dc159db52768bfc358662cbd1a59351d168d392723698c099bebbed37bcd&idx=1&mid=2247483656&scene=21&sn=ca60b3875450cd3dfaad3519b12c9dcb#wechat_redirect
[_ GreatSQL MGR]: http://mp.weixin.qq.com/s?__biz=MzkzMTIzMDgwMg%3D%3D&chksm=c26f6430f518ed2673305f17f463fa5a31e624ad3ab6945c3796d3fc771d78ceff20aa614949&idx=1&mid=2247483661&scene=21&sn=2a8a73b65ba7ed0f6edc12bf11aa5e6f#wechat_redirect
[e169d448abe3f2335228f05c6838f0c6.png]: /images/20220829/db28398dba5644efbde9cfdd5cbdd3f7.png