OceanBase分布式数据库使用教程

Myth丶恋晨 2023-06-29 02:54 22阅读 0赞

## OceanBase简介 ##

OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发、运维、DBA、广告、应用研发等部门共同完成。在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表，视图(view)，研发团队把有限的资源集中到关键点上，当前 OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。

目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推广。

OceanBase 对传统的关系数据库进行了开创性的革新。在普通硬件上实现金融级高可用，在金融行业首创“三地五中心”城市级故障自动无损容灾新标准，同时具备在线水平扩展能力，创造了 6100 万次/秒处理峰值的纪录。 2019年10月，OceanBase 以 6088 万 tpmC 值的成绩，打破数据库基准性能测试的世界纪录，荣登 TPC-C 基准测试性能榜首。

官网地址[https://oceanbase.alipay.com/][https_oceanbase.alipay.com]

## 性能 ##

1.  兼容mysql Oracle
2.  单表最多记录10000亿条
3.  6100万次/秒处理峰值
4.  单集群规模超200台，数据量超5PB
5.  在线扩容缩容
6.  高扩展性

虽然传统关系型数据库（如 Oracle 或 MySQL）的功能已经很完善，但是数据库可扩展性比较差，随着数据量增大，需要进行分库分表存储，在查询时需要将相应的 SQL 解析到指定的数据库中，数据库管理员需要花费大量时间来做数据库扩容，且对维护人员的技术要求比较高，要掌握分布式处理中数据的读写分离、垂直拆分和水平拆分等技术。

而 OceanBase 使用分布式技术和无共享架构，数据自动分散到多台数据库主机上，采用廉价的 PC 服务器作为数据库主机，可以自由地对整个分布式数据库系统进行扩展，既降低了成本，同时也保证了无限的水平扩展。

OceanBase 也被称为云数据库，具有云存储的随意扩展的特性。

1.  高可靠性  
    OceanBase 数据库系统使用的廉价的 PC 服务器，这些服务器是不可靠的，很容易出现故障。但是，OceanBase 又必须保证任何时刻出现的硬件故障不影响业务。

因此，OceanBase 引入 Paxos 协议，保证分布式事务的一致性，即数据库系统中数据以备份的方式存储于多台机器中，当其中一台出现故障时，其他备份仍可以使用，并根据系统日志来恢复故障前的数据。

1.  数据准确性  
    OceanBase 是新型的关系型数据库，支持事务的 ACID 特性。这在电子商务、金融等领域是非常重要的，这些领域对数据的准确性要求非常高，如电子商务中的支付数据，这些数据要保持一致性，不能有任何数据的丢失。

OceanBase 在设计时，读事务基本是分布式并发执行的，而写事务则是集中式串行执行的，且任何一个写事务在最终提交前对其他读事务都是不可见的，因此 OceanbBase 是具有强一致性的，能保证数据的正确性。  
9) 高性能  
数据库的总量是很大的，每天增、删、改的数据只是其中的小部分，这部分数据为增量数据。

OceanBase 将数据分成基准数据和增量数据，基准数据是保持不变的历史数据，用磁盘进行存储，可保证数据的稳定性；而增量数据是最近一段时间的修改数据，存储在内存中，这种针对增、删、 改记录的存储方式极大地提高了系统写事务的性能，并且增量数据在冻结后会转存到 SSD 上，仍然会提供较高性能的读服务。

OceanBase 会在系统的低负载时段对数据进行合并操作，避免对业务产生不良影响。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 1]

## 架构 ##

OceanBase架构的一些基本概念  
主键  
row key，也称为primary key，类似于DBMS的主键，与DBMS不同的是，OceanBase的主键总是二进制字符串(binary string)，但可以有某种结构。OceanBase以主键为顺序存放表格数据  
sstable  
一种数据存储格式，OceanBase用来存储一个或几个表的一段按主键连续的数据  
tablet  
一个表按主键划分的一个(前开后闭的)范围，通常包含一个或几个sstable，一个tablet的数据量通常在256MB左右  
基准数据和动态数据  
OceanBase以增量方式记录一段时间内的表格数据的增删改，从而保持着表格主体数据在一段时间内相对稳定，其中增删改的数据称为动态数据(通常在内存，也称为内存表)，而一段时间内相对稳定的主体数据称为基准数据，基准数据和转储后(保存到SSD固态盘或磁盘)的动态数据以sstable格式存储  
ChunkServer  
保存基准数据的服务器，通常是多台，为了避免软件硬件故障导致的服务中断，同一份基准数据通常保存了3份并存储在不同ChunkServer上  
UpdateServer  
保存动态数据的服务器，一般是单台服务器。为了避免软件硬件故障导致的服务中断，UpdateServer记录commit log并通常使用双机热备  
MergeServer  
进行静态动态数据合并的服务器，常常与ChunkServer共用一台物理服务器。MergeServer使得用户能够访问到完整的最新的数据  
RootServer  
配置服务器，一般是单台服务器。为了避免软件硬件故障导致的服务中断，RootServer记录commit log并通常采用双机热备。由于RootServer负载一般都很轻，所以它常常与UpdateServer共用物理机器  
冻结  
指动态数据(也称为内存表)的更新到一定时间或者数据量达到一定规模后，OceanBase停止该块动态数据的修改，后续的更新写入新的动态数据块(即新的内存表)，旧的动态数据块不再修改，这个过程称为冻结  
转储  
出于节省内存或者持久化等原因将一个冻结的动态数据块(内存表)持久化(转化为sstable并保存到SSD固态盘或磁盘上)的过程  
数据合并(merge)  
查询时，查询项的基准数据与其动态数据(即增删改操作)合并以得到该数据项的最新结果的过程。此外，把旧的基准数据与冻结的动态数据进行合并生成新的基准数据的过程也称为数据合并  
联表(join)  
一张表与另一张或几张表基于主键的左连接关系，类似于DBMS的自然连接  
COW  
Copy on Write的缩写，在OceanBase中特指BTree在更新时复制数据备份写入，避免系统锁的技术手段

## 使用教程 ##

1.下载  
下载地址  
[https://oceanbase.alipay.com/][https_oceanbase.alipay.com]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 2]  
![2.][]  
解压后会有安装教程，由于教程太长我就不在博客展示了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 4]

[https_oceanbase.alipay.com]: https://oceanbase.alipay.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200110114658367.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200110115314400.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200110115930918.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70
[2.]: https://img-blog.csdnimg.cn/20200110115956221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200110120025386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200110120125903.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjE4NjY0,size_16,color_FFFFFF,t_70