走进大数据丨 Hbase知识点详解

冷不防 2023-06-28 06:28 6阅读 0赞

(一) hbase 基础

**1. 什么是 hbase**

一个分布式的、面向列的开源数据库，该技术来源于 fay chang 所写

的 google 论文”Bigtable:一个结构化数据的分布式存储系统”

HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力，HBase 是 Apache

的 Hadoop 项目的子项目

HBase 不同于一般的关系数据库，它是一个适合于非结构化数存储的

数据库，另一个不同的是 HBase 是基于列而不是基于行

**2. hbase 的特点**

面向列 ž

多版本 ž

稀疏性 ž

扩展性 ž

高可靠性 ž

高性能ž

**3. hbase 的作用**

存储大量数据集结果并提供低延时的查询

**4. HBase 跟 hive 有什么区别？**

Hive 的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整

张表而不是单行数据，查询的延迟较高。其本质是更加方便的使用 mr 的威

力来进行离线分析的一个数据分析工具。

HBase 的定位是 hadoop 的数据库，是一个典型的 Nosql，所以 HBase

是用来在大量数据中进行低延迟的随机查询的。

(二) NoSql

**1. 什么是 nosql**

非关系型数据库，NoSQL 数据库的出现，弥补了关系数据（比如 MySQL）

在某些方面的不足，在某些方面能极大的节省开发成本和维护成本

**2. 常见的 nosql 和 sql**

**3. nosql**

非关系型数据库——列存储（HBase）

非关系型数据库——文档型存储（MongoDb）

非关系型数据库——内存式存储（redis） KV

非关系型数据库——图形模型（Graph）

➢ sql

mysql

SQLserver

Oracle

**4. NoSql 与 sql 的区别**

◼ 概念

SQL (Structured Query Language) 数据库，指关系型数据库。主要代

表：SQL Server，Oracle，MySQL(开源)，PostgreSQL(开源)。

NoSQL（Not Only SQL）泛指非关系型数据库。主要代表：MongoDB，Redis，

CouchDB。1809——RH

◼ 区别

1) 存储方式

◆ SQL 存储在特定结构的表中

◆ NoSQL 存储方式较为灵活

2) 表/数据集合的数据的关系

◆ 在 SQL 中，必须定义好表和字段结构后才能添加数据

◆ 在 NoSQL 中，数据可以在任何时候任何地方添加，不需要先

定义表

3) 外部数据存储

4) SQL 中的 JOIN 查询

5) 数据耦合性

◆ SQL 中不允许删除已经被使用的外部数据

◆ NoSQL 中则没有这种强耦合的概念，可以随时删除任何数据。

6) 事务

◆ SQL 中如果多张表数据需要同批次被更新，即如果其中一张表

更新失败的话其他表也不能更新成功

◆ NoSQL 中没有事务这个概念，每一个数据集的操作都是原子级

的。

**5. hbase\_shell 语法**

◼ **基本操作**

◆ -- 创建命名空间

\-- 格式：create\_namespace '命名空间'

create\_namespace 'ps'

◆ -- 创建表

\-- 格式:create '命名空间:表名','列族 1'，'列族 2'，'列族 3'

create 'ps:stu','info','rela','major'

◆ -- 添加数据

\-- 格式：put '命名空间:表名','行键','列族:列','值'

◼ **/\*查看数据\*/**

◆ 查看整张表的数据

scan '命名空间:表名'

◆ 查看某一个列族的数据

scan '命名空间:表名',\{COLUMNS => \['列族名'\]\}

◆ 查看某个列的值

scan '命名空间:表名',\{COLUMNS => \['列族名：列限定符'\]\}

◆ **组合使用**

◆ scan '命名空间：表名',\{COLUMNS => \['列族名：列限定符

','列族名'\]\}

◆ 查看某个值

get '命名空间：表名','行键'

get '命名空间：表名','行键',\{COLUMNS => \['列族名'\]\}

get '命名空间：表名','行键',\{COLUMNS => \['列族名:列限定符

','列族名'\]\}1809——RH

◆ 查看一行的多个列族

get '命名空间：表名','行键'，'列族','列族'

◆ 查看某一个单元数据值

get '命名空间：表名','行键'，'列族:列限定符','列族:列限定

符'

◼ **/\*count 统计：\*/**

◆ 统计表的行数：

count '命名空间：表名'

◼ **/\*表的启用和禁用\*/**

◆ 禁用

disable '命名空间：表名'

◆ 启用

enable '命名空间：表名'

◆ 查看是否启用

is\_enabled '命名空间：表名'

**6. 查询性能**

在相同水平的系统设计的前提下，因为 NoSQL 中省略了 JOIN 查询的消耗，

故理论上性能上是优于 SQL 的

(三)

**1. 结构化数据和非结构化数据**

**结构化数据**：即行数据，存储在数据库里，可以用二维表结构来逻

辑表达实现的数据

**非结构化数据**：包括所有格式的办公文档，文本、图片、XML、HTML、

**各类报表、图像和音频/视频信息等**

**2. 如何确定一个单元格**

一个单元格是行、列族和列限定符的结合，也就是说，通过这三个值（也

称之为坐标）来唯一确定一个单元格。

二、 HBase 架构

(一) hbase 架构

**1. hbase 负载均衡基本单位**

hbase 负载均衡的基本单位是 region，region 的本质是以行键排序的连续存储

的区间，它的负载均衡是自动的，region 的默认大小是 10GB1809——RH

**2. HRRegionServer 意外终止后怎么处理**

1) HMaser 通过 zookeeper 感知到 HRegionServer 失效，HMaster 首先处理遗留的 HLog

文件

2) 将其中不同的 Region 的 Log 数据进行拆分，分别放到相应的 region 目录下

3) 然后再将失效的 region 重新分配，领取到这些 region 的 HRegionServer 在

LoadRegion 的过程中会发现有历史 HLog 需要处理，加些会 ReplayHLog 中的数据到

Memstore 中，然后 Flush 到 StoreFiles，完成数据恢复

**3. hfile 是什么文件**

是一个二进制文件，是 hbase 最底层的数据存储文件，每个列族的 HFile 都是独立管理

的

(二) hbase 读写删流程** **

➢ **读流程**

通过 BlockCache 缓存技术，它将经常读取的文件缓存至 BlockCache，避免硬盘读，

Block 是从硬盘完成一次数据读取的重要单位。

从 HBase 中读出一行，首先会检查 MemStore 等待修改的队列，然后检查 BlockCache

包含该行的 Block 是否最近被访问过，最后访问硬盘上的对应 HFile

➢ **写流程**

执行写入时会写到两个地方，(write-ahead log，也称 **HLog**)和

**MemStore**。这是默认操作，目的是保证数据持久化，只有这两个地方的

变化信息都写入并确认后，才认为写动作完成。

MemStore 是内存里的写入缓存区，当 MemStore 填满后，其中的数据

会刷写到硬盘，生成一个 HFile，HFile 是 HBase 使用的底层数据存储格

式。HFile 对应于列族，一个列族可以有多个 HFile，但一个 HFile 不能

存储多个列族的数据，在集群的每个节点上，每个列族有一个 MemStore

WAL 实现了 HBase 的容错机制，它在写动作完成之前先写入 WAL，

HBase 集群中每台服务器维护一个 WAL 来记录发生的变化，直到 WAL 新

记录成功写入后，写动作才被认为成功完成。这样可以保证 HBase 和支

撑它的文件系统满足持久性。

如果 HBase 服务器宕机，可以通过 WAL 来恢复，不需要手动执行

➢ **删流程**

HBase 不会立即删除内容，只是给记录打上删除的标记，在进行大合

并的时候，这些被标记的记录才会被删除，这也是唯一一次机会

(三)

rowkey

1. **rowkey 设计原则**

**长度原则**：避免因 rowkey 过大而导致 HFile 的存储效率低下及内存有效利用率和

检索效率变低

**唯一原则**：按照字典顺序排序存储，将经常读取的数据存储到一块，将最近可能会

被访问的数据放到一块

**散列原则**：通过 row 或时间戳，提高数据均衡分布，避免热点 问题

**2. rowkey 不超过 16 字节原因** ž

rowkey 过长影响 HFile 存储效率 ž

降低检索效率 ž

利用了操作系统的最佳特性

![format_png][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9sR2x2b0tIblJVSjA2Qk1oaEIyRG05REptTG5JZmdtU2RMYmttTmw3M0FoSVgwajlxMURORVlFSFJ0MW54TFZma0F5RkxVSUdwcTY3ajV3aHJiNjBidy82NDA?x-oss-process=image/format,png

走进大数据丨 Hbase知识点详解

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关走进大数据丨 String、StringBuffer和StringBuilder详解

相关走进大数据丨 ElasticSearch6.X的JavaAPI使用二

相关走进大数据丨 Hbase知识点详解

相关走进大数据丨 ZooKeeper典型的应用场景

相关走进大数据丨ElasticSearch6.X的JavaAPI使用一

相关走进大数据丨 Hadoop生态体系

相关走进大数据丨 YARN

相关走进大数据丨 Kafka(三)

相关走进大数据开源项目

相关走进大数据,了解Hive