最佳实践 | SequoiaDB单中心三副本部署规划

分手后的思念是犯贱 2022-12-26 09:27 260阅读 0赞

## **01 概述** ##

随着互联网业务蓬勃发展，大规模高并发交易处理、海量数据处理与分析需求不断增长的背景下，国产金融级分布式数据库SequoiaDB巨杉数据库的统一存储和管理海量结构化、非结构化数据的能力得到了广大用户的认可。

SequoiaDB巨杉数据库自研的原生分布式存储引擎支持完整ACID，具备弹性扩展、高并发和高可用特性，基于同一的原生分布式数据库底座，提供基于内核级的DBaaS云原生数据库能力。提供高达8种SQL、NoSQL及对象存储实例，包括：

提供原生的SDB API进行数据库管理及数据CURD操作；

提供兼容 MySQL、MariaDB、PostgreSQL 与 SparkSQL的四种关系型数据库实例；

提供兼容基于JSON的JSON文档类MongoDB数据库实例；

提供兼容S3对象存储与PosixFS文件系统的非结构化数据实例。

作为一个拥有全分布式系统架构的数据库，SequoiaDB 支持各种灵活的部署方式。本文主要将以三副本为例，介绍SequoiaDB巨杉数据库在单数据中心下部署规划最佳实践。

# #

## **02 部署规划最佳实践探索** ##

**2.1 软硬件环境配置**

SequoiaDB 作为一款高性能分布式关系型数据库，支持 Linux 操作系统环境，支持绝大多数的主流硬件网络，并能够部署和运行在 x86及 ARM 架构服务器环境和主流虚拟化环境。本文所展示的三副本部署规划实践中的服务器配置，如下表所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70][]

(关于更多SequoiaDB的硬件要求可参考文档：http://doc.sequoiadb.com/cn/sequoiadb-cat\_id-1561381803-edition\_id-500\#受支持的硬件平台)

本次示例的软件配置如下。

操作系统：CentOS 7.6

SequoiaDB版本：5.0.1

(关于更多SequoiaDB的硬件要求可参考文档：http://doc.sequoiadb.com/cn/sequoiadb-cat\_id-1561381803-edition\_id-500\#受支持的操作系统)

**2.2 物理架构部署规划**

本文以三台物理机服务器的部署规划最佳实践进行探索，首先我们需要对物理机的磁盘进行测试和规划，规划时往往需要从以下几个方面进行考虑：

对于磁盘的配置是选择用裸盘还是用RAID，各有什么优缺点

决定了磁盘的配置后如何规划数据组的数量？

数据分布怎么配置更合理？

接下来我们将对上述问题进行探索实践。

![d9330a8c56d802c3b07f073b994f79af.png][]**问题一：裸盘还是RAID**

对于磁盘的规划使用，我们分别进行了两组实验来对比裸盘和RAID的性能。

实验场景(每个数据组三副本)：

1. 磁盘在raid5模式下，LOB数据的写入性能测试。

2. 磁盘在直通模式下，LOB数据的写入性能测试。

实验方法：

模拟场景，向数据库写入800w张100KB的图片，写入完成之后再触发全量同步观察写入磁盘写入速度。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 1][]

从以上测试结果可以看出，**使用6块裸盘的写入性能高于RAID5模式。**巨杉数据库本身以三副本模式进行部署，保证了数据库的高可用性，因此在一般场景下我们推荐使用裸盘进行部署巨杉数据库。

那么使用裸盘是否存在什么弊端，什么场景下推荐使用RAID5 呢？在使用裸盘的过程中，很多用户慢慢发现磁盘一旦损坏在更换磁盘的时候需要人工介入进行节点启停、磁盘挂载等一系列操作，而使用RAID5划分磁盘就可以完美的避免这些操作，因此当应用对于读写性没有很高时候，使用RAID5可以在满足性能要求的同时减少故障发生时的人工介入工作。

![d9330a8c56d802c3b07f073b994f79af.png][]**问题二：数据节点数量规划**

为避免多个数据节点部署在一块盘上，在业务压力大时候发生IO抢占的问题，我们建议按照每块盘上部署一个数据节点的方式来规划，最终数据节点规划方案如下图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 2][]

**![d9330a8c56d802c3b07f073b994f79af.png][]问题三：如何规划数据分布**

SequoiaDB在集群的管理上定义了数据域、分区组的概念。数据域由若干个复制组（ReplicaGroup）组成的逻辑对象。每个域都可以根据定义好的策略自动管理所属数据，如数据切片和数据隔离等。分区组又被称为复制组，一个复制组内可以包含一个或多个数据节点（或编目节点），节点之间的数据使用异步日志复制机制，保持最终一致。

一个集群可以根据不同的业务系统来划分不同的数据域，不仅实现将不同业务系统数据在物理层面的隔离存储，同时也实现了不同业务系统数据的统一调度管理，而且以后的集群扩容也可以根据域的使用需求而只针对此域进行集群扩容，假定将测试环境的数据域按照存储数据的结构来划，则数据域规划方案如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 3][]

而在一个域内部，则可以根据业务数据的特性采用灵活的分区管理方式，将一张表的存储分散到多个物理位置，大大的减少单次操作读取的数据量，例如对于超大表，多采用多维分区的方式将业务数据集合分成多个子集合，每个子集合的数据分布在数据域内所有的复制组中，对于一些存储配置信息的小表则可以存储在指定复制组中，数据存储示意图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 4][]

下面演示一下如何划分数据域，以及如何通过不同的分区方式来管理超大表和小表。具体步骤如下。

**1. 划分数据域**

创建结构化域d1

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 5][]

创建非结构化域d2

![32871978e15b33a45f18686595edfeb2.png][]

**2. 利用多维分区表管理超大表**

创建表空间metaCS

![e9a0451b34054aebb907e9c5f147fc96.png][]

创建主表’metaCL’

![bba9dd35c68858060d7537eec62a7484.png][]

创建子表metaCL2020用于存储2020年的数据

![5bb360ce01464ce784fd9828edc6cc85.png][]

创建子表metaCLMin用于存储2020年以前的数据

![cdb401b519167654930ee381b3c9b8bb.png][]

创建子表metaCLMax用于存储2020年之后的数据

![686703213e2bef43b264692f0ccac53d.png][]

将子表metaCL2020挂载到主集合上，用于存储2020年的数据

![4f560572182ddc0a42586d7ebb3a485c.png][]

将子表metaCLMin挂载到主集合上，用于存储2020年以前的数据

![d2d3bb00d5492a7a8562b3ba855538dc.png][]

将子表metaCLMax挂载到主集合上，用于存储2020年以后的数据

![344b0b9fda81bc6905f6723dcff6040f.png][]

创建完多维分区表之后，我们简单插入几条数据：

\{"YEAR": 2021, "Name": "Meppo"\}

\{"YEAR": 2020, "Name": "Tiny"\}

\{"YEAR": 2019, "Name": "Tommy"\}

![67ef8f315068f4a0a0923d58b877fd77.png][]

查看数据分布，可以看到数据根据YEAR的分区规则进入了各自的子表中

![31c2bb80e1cdf4da440b9dd69330d89d.png][]

下面我们再向集合中插入几条数据，验证数据是否会分布在不同复制组中，可以看到新插入的数据都分布到了group2和group3中

\{"YEAR": 2020, "Name": "Lion"\}

\{"YEAR": 2020, "Name": "Luna"\}

![58a255b355553f90f051ab6c02e98bb7.png][]

**3.将小表的数据存储在指定复制组中**

新建smallCL表，分区组指定为group1

![ba51878a6beff3b3f2f9cea104579a5a.png][]

向集合中插入三条测试数据

\{"name":"Tiny"\}

\{"name":"Lion"\}

\{"name":"Meepo"\}

![9db40507cdae43d733597dab9f70c637.png][]

查看smallCL表的数据分布，所有数据全都存在指定的数据组group1上,可以看到所有的数据都存储在group1中

![98082d7987266ba3beec5b7544c2b946.png][]

# #

## 03 总结 ##

没有”完美”的规划，只有合适的规划，SequoiaDB作为一款开源的金融级分布式关系型数据库，系统部署规划方案灵活可配，用户可以通过数据域的划分让用户可以在复杂集群环境中对资源进行逻辑与物理划分隔离，可以划分多个数据组来解决单点数据量大的问题，可以选择裸盘使用来追求最佳性能，也可以使用硬盘做RAID来降低日常运维的难度，因此只要确认好实际的业务需求，就能制定合适的部署规划方案。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70]: /images/20221120/c5a280b27c764db88562734297bbab32.png
[d9330a8c56d802c3b07f073b994f79af.png]: /images/20221120/e1a09249d1574852b56b8e31cc09078f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 1]: /images/20221120/df4c8b59cf3e4678953d00497c009959.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 2]: /images/20221120/aa65963f9b004549a3102bec90c6a74b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 3]: /images/20221120/e8175f3c302b4144a645389fb2d64bdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 4]: /images/20221120/7f5d35b763fe4f3cb1d11700b27c099c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NlcXVvaWFEQl9PZmZpY2lhbA_size_16_color_FFFFFF_t_70 5]: /images/20221120/5451d4e49155439cadb79f0f603c2b3a.png
[32871978e15b33a45f18686595edfeb2.png]: /images/20221120/29a5c229c3174d628f66bbb2d68a1d04.png
[e9a0451b34054aebb907e9c5f147fc96.png]: /images/20221120/90f63aa9f65a41039173911903e5dcf1.png
[bba9dd35c68858060d7537eec62a7484.png]: /images/20221120/4e609c46c82a4fbfa88904502b45638e.png
[5bb360ce01464ce784fd9828edc6cc85.png]: /images/20221120/e8dcacf222574782b59bda203ecdedd0.png
[cdb401b519167654930ee381b3c9b8bb.png]: /images/20221120/32649b4bcca64a65a3a0c7d02d9ee671.png
[686703213e2bef43b264692f0ccac53d.png]: /images/20221120/1c7e3d6e4783451fa3f6514447215367.png
[4f560572182ddc0a42586d7ebb3a485c.png]: /images/20221120/ba435a0f18834d7aad336c8e3726cfaa.png
[d2d3bb00d5492a7a8562b3ba855538dc.png]: /images/20221120/76bc5d89543b42b5952bc44068320f54.png
[344b0b9fda81bc6905f6723dcff6040f.png]: /images/20221120/d4efc47bff2045bf9419d9d80f6fe444.png
[67ef8f315068f4a0a0923d58b877fd77.png]: /images/20221120/4483be0bdff649b48ae5e9e617fb6efb.png
[31c2bb80e1cdf4da440b9dd69330d89d.png]: /images/20221120/2a8c94cfce7f4cf29e22bf09541a2033.png
[58a255b355553f90f051ab6c02e98bb7.png]: /images/20221120/555910d6172a455f9752550fccc8ca5a.png
[ba51878a6beff3b3f2f9cea104579a5a.png]: /images/20221120/94ef7ca7938b432eb4582355dfc5a956.png
[9db40507cdae43d733597dab9f70c637.png]: /images/20221120/eb5e3a404e4f439a9e080b957031a81a.png
[98082d7987266ba3beec5b7544c2b946.png]: /images/20221120/4f5d1c349d7a40a193b1cf55360fc027.png