HBase数据检索流程与数据存储

旧城等待， 2021-09-14 02:52 404阅读 0赞

# 一、HBase数据检索流程 #

> > > > ![Center][]

上图中，我们可以看出不管客户端读或写一个表的数据，首先链接Zookeeper，因为需要到Zookeeper中找读的数据，表是通过Region来管理，每个Region由RegionServer管理，每个Region都有startkey及endkey。

HBase的表格分为User Tables（用户表）和Catalog Tables（系统自带表）。

> > > > ![Center 1][]

User Tables（用户表）包含user信息、region信息（startkey和endkey）。例：user表的region-01存在regionserver-03中。该信息是保存在meta-table中。

在HBase新版本中，有类似于RDBMS（关系数据库管理系统）中DataBase的命名空间的概念。HBase的所有表都在data目录下，data下包含default目录和hbase目录，这里的目录就是命名空间的概念。

用户自定义的表默认情况下命名空间为default，而系统自带的元数据表的命名空间为hbase。

> > > > ![Center 2][]

meta表只有一个Region，它的Region也需要RegionServer管理，即为meta-region-server的功能。用户首先找到meta-region-server，然后找到meta表，scan命令可以看到表格中column被什么server管理。

综上所述，用户表由很多region组成，region信息存储在hbase：meta中。用户表的每一个region都有key。Client需要先读zookeeper，其实通过meta-region-server找到的是meta表的region，找到后扫描meta表的数据，然后再找到数据再操作。

# 二、HBase数据存储 #

## 2.1 HBase结构详解 ##

HBase能高速实现数据存储和访问源于HBase数据存储。

1. 连接Zookeeper，从Zookeeper中找到要读的数据。我们需要知道表中RowKey在region的位置。

2. 客户端查找HRegionServer，HRegionServer管理众多Region。

3. HMaster也需要连接Zookeeper，连接的作用是：HMaster需要知道哪些HRegionServer是活动的及HRegionServer所在的位置，然后管理HRegionServer。

4. HBase内部是把数据写到HDFS上的，DFS有客户端。

5. Region中包含HLog、Store。一张表有几个列簇，就有几个Store。Store中有很多memStore及StoreFile。StoreFile是对HFile的封装。StoreFile真正存储在HDFS上。

6. 写数据时，先往HLog上写一份，再往memStore上写一份。当memStore达到一定大小则往StoreFile上写。若memStore数据有丢失，则从HLog上恢复。

7. 读数据先到memStore上读，再到StoreFile上读，之后合并。

## 2.2 HBase数据存储详解 ##

1. HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型：

1）HFile：HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFIle就是对HFile做了轻量级的包装，进行数据的存储。

2）HLog File：HBase中WAL（Write Ahead Log）的存储格式，物理上是Hadoop的Sequence File。

2. HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了table中的一个region，HRegion中由多个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个column family中，这样最高效。

3. HStore存储是HBase存储的核心，由两部分组成，一部分是MemStore，一部分是StoreFile。

4. MemStore是 Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile）。

5. HLog 文件结构：WAL意为Write ahead log，类似Mysql中的binlog，用来做灾难恢复。Hlog记录数据的所有变更，一旦数据修改，就可以从log中进行恢复。

6. 每个HRegionServer维护一个HLog,而不是每个HRegion一个。这样不同region（来自不同table）的日志会混在一起，这样做的目的是不断追加单个文件，相对于同时写多个文件而言，可以减少磁盘寻址次数，因此可以提高对table的写性能。带来的麻烦是，如果一台HRegionServer下线，为了恢复其上的region，需要将HRegionServer上的log进行拆分，然后分发到其它HRegionServer上进行恢复。

## 2.3 用户写入数据流程 ##

> > > > ![Center 3][]

1. Client客户端写入数据后 -> 数据存入MemStore，一直到MemStore满之后 Flush成一个StoreFile，直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile。

2. 同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile ->单个StoreFile大小超过一定阈值后，触发Split操作，把当前Region分成2个Region，Region会下线，新分出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。

[Center]: /images/20210726/af0e4ab34319452bb93c2675c1b55dd1.png
[Center 1]: /images/20210726/680f1dc2808d477ea291d0c26bc8ce4f.png
[Center 2]: /images/20210726/b6d942bd8b1945c18ac6cb03b73af658.png
[Center 3]: /images/20210726/e4229ec2a3ab4dababfb0852b170aa28.png

发表评论取消回复

表情：

评论列表（有 0 条评论，404人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBase海量数据存储实战

数据库最常见的操作就是读写数据，接下来，针对HBase读写数据的流程进行详细介绍。读数据流程从HBase中读数据的流程其实就是寻址的流程，具体流程如下： (1) Cl

绝地灬酷狼/ 2023年10月07日 16:24/ 0 赞/ 42 阅读

相关 Hbase数据存储图解与数据检索流程详解

一、Hbase数据存储图解 ![Center][] 二、hbase表数据的检索流程图（读和写的流程） 1、hbase在Hadoop集群中的物理架构由图中可以

ゝ一纸荒年。/ 2023年07月05日 10:22/ 0 赞/ 110 阅读

相关大数据存储HBase

这两天要写一个方案，某单位想建一个中心数据库，汇聚各业务系统数据，以及各种网上抓取的预报数据。我设想是用HBase。主要考虑点是： 1、开源 2、支持海量数据该单

浅浅的花香味﹌/ 2023年02月28日 15:20/ 0 赞/ 22 阅读

相关 Flume+HBase+Kafka集成数据采集/存储/分发完整流程测试

目录第一步：熟悉需求分析第二步：应用服务模拟器程序开发（1）应用服务程序开发（2）Jar包上传

刺骨的言语ヽ痛彻心扉/ 2023年02月23日 08:16/ 0 赞/ 63 阅读

相关 HBase数据存储和架构

1.Table中的所有的行都是按照row key 字典序排列 2.Table在行的方向上分割为多个region 3.Region按大小分割的，每个表开始只有一个region

朴灿烈づ我的快乐病毒、/ 2022年12月20日 02:25/ 0 赞/ 144 阅读

相关 HBase －数据写入流程解析

[HBase －数据写入流程解析][HBase _] 众所周知，[Hbase][]默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地

逃离我推掉我的手/ 2022年06月14日 08:43/ 0 赞/ 321 阅读

相关 hbase meta表数据存储

hbase meta表数据存储 1.meta表存储了在系统上的一系列的region信息。以及meta表的信息存储在zookeeper上。 2.meta表结构如下（

水深无声/ 2022年02月09日 12:23/ 0 赞/ 311 阅读

相关 HBase －数据写入流程解析

本文转载自网易范欣欣 [http://hbasefly.com/category/hbase/page/4/][http_hbasefly.com_category_hbas

矫情吗；*/ 2021年11月16日 10:56/ 0 赞/ 396 阅读

相关 Hbase底层实现——HBASE架构、HBASE数据存储、HBASE数据访问、HBASE的shell操作

多次面试都提到了这个问题，这次来系统的总结一下答题的要点吧。一、HBASE底层设计，也即HBASE的底层架构： 1、HBASE中有多个RegionServer 2、Re

Dear 丶/ 2021年09月22日 11:52/ 0 赞/ 469 阅读

相关 HBase数据检索流程与数据存储

一、HBase数据检索流程 > > > > ![Center][] 上图中，我们可以看出不管客户端读或写一个表的数据，首先链接Zookeeper，因为需

旧城等待，/ 2021年09月14日 02:52/ 0 赞/ 405 阅读