沃趣科技与Mellanox联合打造证券行业高性能及同城双活数据库云平台

偏执的太偏执、 2022-06-13 10:27 165阅读 0赞

证券行业 IT 系统面临的压力和挑战

近几年来，股市的跌宕起伏和井喷行情，给各大券商的业务系统带来巨大压力，其IT 系统面临前所未有的挑战。为应对日益增长的行情和业务需求，并通过信息技术的升级带动业务创新，打造差异化竞争力，证券公司均不断加强对 IT 系统的新建和改造的投入。

目前，证券公司诸多关键业务和应用系统均运行在IOE（IBM 为代表的小型机、Oracle数据库、EMC为代表的集中式存储）架构的系统平台上，在应对突发实时交易流量暴增、保障系统高可用、提升移动互联网化的用户体验、满足行业监管要求等方面，原有的IOE基础架构平台面临着诸多不足。具体表现在如下方面：

*  封闭系统，难于灵活扩展，扩容成本高昂。
 *  数据量激增，IO性能下降，无法满足业务响应要求。
 *  运维复杂，耗时耗力，维保费用居高不下，且难以满足7x24SLA。
 *  数据库版本过于陈旧，无法有效支撑多项业务应用的快速部署。

高性能数据库云平台方案

IOE作为一直占据主导地位的数据库系统架构，已经很难满足高速发展的业务需求，其性能，扩展性，成本等方面的缺点逐渐暴露了出来。与此同时，X86平台凭借自身的开放性以及兼容性等特点，积极拥抱一些革命性的硬件产品，如Flash高速存储，InfiniBand 低延迟高带宽网络，使得x86架构在企业的生产环境中承载关键的数据库系统成为可能。基于上述数据库架构发展趋势以及针对证券行业 IT 系统的应用需求，Mellanox（迈络思）联合 WOQU Technology（沃趣科技），设计开发了QData Cloud高性能数据库云平台解决方案，通过沃趣科技自主研发的QData Control群集管理软件、Cloud Manager云平台管理软件、QLink存储管理软件等软件将x86服务器，Oracle数据库，InfiniBand网络及Flash存储整合在一起，提供高可用、高性能、可扩展的数据库服务，适用于OLTP和OLAP等各种应用场景的数据库云平台。

QData Cloud数据库云平台的系统架构如下：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1][]

（QData Cloud高性能数据库云平台架构）

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1][] ![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2][] ![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3][]

（QData Cloud高性能数据库云平台管理界面）

计算节点基于x86服务器构建，安装运行Oracle单实例或者RAC集群软件，提供数据运算服务，支持水平动态扩展。

存储节点基于x86服务器构建，每个存储节点可配置PCIe Flash，SSD或者HDD，成为一个独立的存储单元，提供数据存储服务，IO资源也可按需进行水平扩展。

网络互连采用Mellanox端到端FDR InfiniBand网络，包括交换机、网卡、线缆，提供56Gbps的高吞吐量和0.7us的超低延迟，配置两台InfiniBand交换机实现高可用，防止单点故障。

QLink是一个基于InfiniBand网络的高速存储互连软件，它将独立的存储资源整合成共享存储池，并将远程存储资源无损地输出到计算节点。QLink基于RDMA协议实现，通过零复制和内核旁路技术，避免了内核空间和用户空间的上下文切换，显著降低了计算节点CPU损耗，从而极大地提升了系统的整体性能，轻松应对数据库高并发的 IO 请求。

该数据库云平台方案优势如下：

*  开放架构：基于x86通用平台和高速闪存构建，替代封闭体系的小型机和高端存储；基于用户需求提供
 *  性能卓越：5-10倍于传统架构的性能提升，在OLTP场景下性能不低于Oracle Exadata；全冗余的架构设计，计算层、互联层、存储层均无单点故障；支持实例的在线迁移，对内存、CPU 资源进行隔离等QoS服务质量管理。
 *  简单易用：产品开箱即用，提供一键式的安装和部署功能；凭借产品卓越的性能，适用于多种数据库的整合方案而达到多租户支持；提供从资源池创建、自服务、QoS、监控报警、资源下线的全生命周期管理。
 *  高性价比：凭借卓越的产品和专业的服务，总体拥有成本TCO仅为传统架构的 40%。

数据库云平台在证券行业的应用实践

证券公司业务系统复杂多样，对计算和存储的需求各不相同。以风控，资讯，全帐三套系统为例，风控属于OLAP，资讯和全帐属于OLTP，如果物理构建三套独立的数据库系统，存在资源浪费，利用不均的问题。同时针对不同的业务系统在数据库层面应该做好隔离。

QData Cloud 数据库云平台为上述业务系统构建了数据库存储池，其中风控采用独立 Oracle RAC集群，占用3台存储节点。资讯，全帐共用一套Oracle cluster集群，但各自采用独立的Oracle数据库，存储层面共用 4 台存储节点。

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4][]

（基于QData Cloud部署风控、资讯、全账业务系统）

上述部署采用冷热数据分层存放，配置快速SSD设备与慢速SAS设备，应用区分冷热表，并利用分区表进行数据生命周期管理。

同时采用共享存储资源池架构，充分利用底层存储资源，提升空间利用率。由于所有系统在同一套。

InfiniBand网络中，存储资源可以按需在各个系统间进行快速切换。

相对于传统数据库架构，QData Cloud数据库云平台可以实现5-10倍的性能提升。

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 5][]

（QData for Oracle 显著提升证券业务系统性能）

核心网络架构

数据库云平台采用Mellanox的端到端FDR InfiniBand网络互连解决方案，包括基于Mellanox SwitchX-2芯片的FDR InfiniBand交换机，以及基于Mellanox ConnectX-3 芯片的FDR InfiniBand网络适配器，借助高带宽和低延迟的性能优势，使整个方案具备了行业领先的高效能，高密度，高性价比，以及超低延迟。

InfiniBand集群的管理采用Mellanox UFM网管套件。UFM针对InfiniBand网络完成资源管理、网络监测、性能优化，并提供了可视化的Web界面，实现InfiniBand网络统一调度管理。

方案部署和效益：基于InfiniBand网络的QData Cloud高性能数据库云平台，已经在国内排名前十的多家证券公司成功实施并上线运行。该方案帮助客户迈出了去小型机去集中式SAN存储的第一步，使用全x86化的开放架构替代原有的封闭架构，不仅为企业节省了采购成本，还极大提升了数据库系统的整体性能。

“使用QData Cloud数据库云平台之后，不仅系统性能得到了极大地提升，可以从容应对火爆的行情，而且管理成本也下降了很多。更重要的是，使用QData Cloud云平台帮助我们节省了百万以上的采购和维保费用。”

双活业务系统建设面临的压力和挑战

随着信息技术的快速发展，越来越多的企业和单位把应用、数据、系统集中处理，数据大集中的同时风险也随之而来。灾难性的突发事件发生时如何保障核心业务7x24小时不间断运行，成为业务安全的首要问题。

虽然各个企业现都已采用数据保护的手段及方法，目的都是在积极保障业务的在线性及数据不丢失，但是，传统数据中心采用较为广泛的容灾建设模式中，或多或少还存在一些不足之处，如面临资源利用率低、切换业务时间长、突发事件中存在必然的数据损失、数据中心运维整体健康状态不可见、缺少演练等的挑战。

当一个站点发生故障时，另外一个站点可实时接管所有业务的双活解决方案成为当前讨论和建设的热门话题，双活容灾解决方案能够盘活现有IT资源，充分发挥资源利用优势，实现应用级双活无感知切换，达到企业对外业务服务的7x24小时服务质量保证，降低灾难性事件发生后业务宕机的风险。

数据库同城双活平台方案

双数据中心同时对外提供业务的双活模式，两个数据中心是对等的，不分主从，并可同时部署业务，这样就极大的提高了资源的利用率和系统的工作效率，同时保证在遇到突发灾难时的数据高可用。两个生产中心部署相同的业务系统，底层实现数据双活，结合网络层、主机层或应用的负载均衡技术，实现业务系统在两个数据中心并行工作和负载分担。

双数据中心的双活方案支持两个数据中心的存储故障、计算节点故障、机房掉电等事件发生时的自动化切换，连续对外提供生产。整个灾难切换及恢复业务的过程均无需人工干预，自动化完成，有效的降低企业客户的管理成本。

双活方案同时对外提供生产，降低或规避了企业客户的系统维护的风险，在业务不宕机的情况下在线维护存储节点、计算节点，可以实现在线扩容，添加业务节点等，达到企业级用户在线横向扩展的需求。因此，在系统建设初期，客户可以自主选择系统的建设规模，优先满足当前实际业务需求，随着业务系统的发展和对容灾系统需求的增长，灵活的扩展生产系统和容灾系统的规模，以充分保护客户现有投资。

双活容灾解决方案核心思想是将本地的分布式一体机的解决方案跨两个数据中心建设实施，不仅达到系统级的冗余，包括硬件、数据冗余等，同时也达到了两数据中心之间的业务级冗余。双活数据中心的业务数据是实时同步，且业务数据的镜像相对上层的业务平台透明，所有业务数据的 I/O 生产都将同时写入到两个数据中心。达到业务数据两份实时副本及在线切换的功能，以实现双活数据中心的‘零’切换‘零’丢失。

业务系统双活的核心技术难点是数据库层的双活，传统的数据双向复制技术（存储存或数据库层）实现不了真正意义上的数据双活，而部分存储厂商报供的存储虚拟化双活技术，实然能实现数据层双活，但是其性能、成本、可管理性、可扩展性无法满足业务要求。得益于长距离 Infiniband 传输技术、Flash 高速存储的发展，使得长距双活数据库平台成为高度可用架构。

Mellanox（迈络思）联合 WOQU Technology（沃趣科技），设计开发了QData MetroX双活数据库云平台解决方案，通过沃趣科技自主研发的长距双活平台智能管理软件、长距双活仲裁智能控制软件、QLink存储管理软件将 x86 服务器，长距双活管理软件，长距仲裁管理软件，Oracle数据库，长距InfiniBand网络以及Flash存储整合在一起，提供高可用、高性能、可扩展的真正意义上的同城双活的数据库平台，适用于OLTP和OLAP等各种应用场景。

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 6][]

（Mellanox Metro 系列长距连接方案产品家族）

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 7][]

（QData MetroX 双活数据库云平台架构）

QData MetroX的基础硬件设备是基于QData Cloud高性能数据库平台的，QData MetroX在QData Cloud的基础上，通过长距Infiniband技术，将QData Cloud做了物理距离的拉伸，在每个数据中心部署一半QData Cloud物理设备，两个数据中心之间的存储及数据库心跳通过长距Infiniband交换机互联，两个数据中心之间的光纤距离最长支持80KM。

QData MetroX平台之上远行的数据库实现了真正意义上的双活，在两个数据中心可以对同一个数据库中的同一张表的同一条记录进行同时增、删、改、查操作。

QData MetroX平台在实现真正双活的同时，依然可以保持超高的数据库性能，整个 QData MetroX平台可以提供100万以上的IOPS，30GB／s以上的IO吞吐，写IO延迟低于 0.5 毫秒，读 IO延迟低于1毫秒。

QData MetroX 在继承 QData Cloud 优点的基础上，同时具备以下优势：

*  真正双活：在两个数据中心可以对同一个数据库中的同一张表的同一条记录进行同时增、删、改、查操作；
 *  卓越性能：10 倍于传统存储双活架构的性能提升；
 *  长距链路状态感知能力：主动持续侦测长距链路状态，为管理和排障提供决策依据；
 *  链路故障主动干预：感知到链路抖动或者延迟升高的情况下，可主动干预，数据库平台整体可用性，在极短的时间内排除掉这种可以预期的故障；
 *  读 IO亲和：本地数据库中心可优先读取本地数据中心的 IO，减少跨数据中心IO 访问；
 *  一体化管理与监控：包含从底层硬件到上层数据的完整的管理和监控平台，可维护性、可管理性更强。

结  论

Mellanox 和沃趣科技基于对行业用户的深刻理解共同设计开发的 QData Cloud 解决方案提供了高可用、高性能、可扩展的数据库云平台，QData MetroX 更是可以帮助证券用户轻松构建同城双活业务平台从而保障业务 7x24x365 连续运行。

原文链接：http://www.mellanox.com/related-docs/solutions/SB\_WOQU\_QData\_Cloud.pdf

**证券行业 IT 系统面临的压力和挑战**

**高性能数据库云平台方案**

QData Cloud数据库云平台的系统架构如下：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1][]

（QData Cloud高性能数据库云平台架构）

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1][] ![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2][] ![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3][]

（QData Cloud高性能数据库云平台管理界面）

计算节点基于x86服务器构建，安装运行Oracle单实例或者RAC集群软件，提供数据运算服务，支持水平动态扩展。

存储节点基于x86服务器构建，每个存储节点可配置PCIe Flash，SSD或者HDD，成为一个独立的存储单元，提供数据存储服务，IO资源也可按需进行水平扩展。

该数据库云平台方案优势如下：

**数据库云平台在证券行业的应用实践**

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4][]

（基于QData Cloud部署风控、资讯、全账业务系统）

上述部署采用冷热数据分层存放，配置快速SSD设备与慢速SAS设备，应用区分冷热表，并利用分区表进行数据生命周期管理。

同时采用共享存储资源池架构，充分利用底层存储资源，提升空间利用率。由于所有系统在同一套。

InfiniBand网络中，存储资源可以按需在各个系统间进行快速切换。

相对于传统数据库架构，QData Cloud数据库云平台可以实现5-10倍的性能提升。

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 5][]

（QData for Oracle 显著提升证券业务系统性能）

**核心网络架构**

**双活业务系统建设面临的压力和挑战**

**数据库同城双活平台方案**

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 6][]

（Mellanox Metro 系列长距连接方案产品家族）

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 7][]

（QData MetroX 双活数据库云平台架构）

QData MetroX 在继承 QData Cloud 优点的基础上，同时具备以下优势：

**结  论**

原文链接：http://www.mellanox.com/related-docs/solutions/SB\_WOQU\_QData\_Cloud.pdf

[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220613/356fa25efcd448f3a10aed2ec4a71ec3.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 1]: http://mmbiz.qpic.cn/mmbiz_jpg/8r1OrknISBm0DOY56VGDsIiaXUvIaGQXTTg69e6NYmKgW5COR979iauviax8LWnu3JIQfZK5FJicThtia6bTpPibsVUQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 2]: http://mmbiz.qpic.cn/mmbiz_jpg/8r1OrknISBm0DOY56VGDsIiaXUvIaGQXTyJQeNS3uGibZFR4Y1BVAiaUb6BUrEhCn4t0wkX3qB38Tibq4NH07hG1PQ/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20220613/d24b6229e3134de6a660f0a54ec80492.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20220613/79471b2dacfd45ffa234936effe04cf0.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 5]: /images/20220613/05adf22cf1094bb68baf77fd2cc2ec1a.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 6]: /images/20220613/1cabfae6ea8541f8a193168db9484584.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1 7]: /images/20220613/3048e182015e4d7ab2632233f301b057.png