Hbase架构与原理

爱被打了一巴掌 2024-02-19 19:31 56阅读 0赞

### 一：HBase的概念 ###

**HBase是一个分布式的、面向列的开源数据库**，该技术来源于 Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，  
**它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。**  
**HBase在Hadoop的生态圈是扮演这一个重要的角色那就是 实时、分布式、高维数据 的数据存储；**

### 二：HBase简介 ###

– HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库  
– 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务  
– 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）  
**Hbase特性：  
1.强一致性读写: HBase 不是 “最终一致性(eventually consistent)” 数据存储这让它很适合高速计数聚合类任务。  
2.自动分片(Automatic sharding):HBase表通过region分布在集群中。数据增长时，region会自动分割并重新分布。  
3.RegionServer 自动故障转移  
4.Hadoop/HDFS 集成: HBase 支持本机外HDFS 作为它的分布式文件系统。  
5.MapReduce: HBase 通过MapReduce支持大并发处理， HBase 可以同时做源和目标.  
6.Java 客户端 API: HBase 支持易于使用的 Java API 进行编程访问.  
7.Thrift/REST API:HBase 也支持Thrift和 REST 作为非Java 前端.  
8.Block Cache 和 Bloom Filters: 对于大容量查询优化， HBase支持 Block Cache 和 Bloom Filters。  
9.运维管理: HBase提供内置网页用于运维视角和JMX 度量.**

### 三：HBase数据模型 ###

**在HBase中上面的表格只是一行数据；**  
Row Key:

决定一行数据的唯一标识

RowKey是按照字典顺序排序的。

Row key最多只能存储64k的字节数据。  
**Column Family列族（CF1、CF2、CF3） & qualifier列：**  
HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema) 定义的一部分预先给出。如create ‘test’, ‘course’；  
列名以列族作为前缀，每个“列族”都可以有多个列成员(column，每个列族中可以存放几千~上千万个列)；如 CF1:q1, CF2:qw,新的列族成员（列）可以随后按需、动态加入，Family下面可以有多个Qualifier，所以可以简单的理解为，HBase中的列是二级列,也就是说Family是第一级列，Qualifier是第二级列。两个是父子关系。  
权限控制、存储以及调优都是在列族层面进行的；  
HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。  
目前为止HBase的列族能能够很好处理最多不超过3个列族。  
**Timestamp时间戳：**

在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。  
时间戳的类型是64位整型。  
时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫 秒的当前系统时间。  
时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突， 就必须自己生成具有唯一性的时间戳。  
**Cell单元格：**

由行和列的坐标交叉决定；

单元格是有版本的（由时间戳来作为版本）；

单元格的内容是未解析的字节数组（Byte\[\]），cell中的数据是没有类型的，全部是字节码形式存贮。

由\{row key，column(= +)，version\}唯一确定的单元。

### 四：HBase体系架构 ###

**Client**

*  包含访问HBase的接口并维护cache来加快对HBase的访问

**Zookeeper**

保证任何时候，集群中只有一个master  
存贮所有Region的寻址入口。  
实时监控Region server的上线和下线信息。并实时通知Master  
存储HBase的schema和table元数据  
**HMaster**  
负责管理HBase元数据，即表的结构、表存储的Region等元信息。  
负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）。  
负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）。  
如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是HMaster不会去处理Client端的数据读写请求，因为这样会加大其负载压力，具体的读写请求它会交给HRegionServer来做。

**HRegionServer**  
一个RegionServer里有多个Region。  
处理Client端的读写请求（根据从HMaster返回的元数据找到对应的Region来读写数据）。  
管理Region的Split分裂、StoreFile的Compaction合并。  
一个RegionServer管理着多个Region，在HBase运行期间，可以动态添加、删除HRegionServer。

**HRegion**  
一个HRegion里可能有1个或多个Store。  
HRegionServer维护一个HLog。  
HRegion是分布式存储和负载的最小单元。  
表通常被保存在多个HRegionServer的多个Region中。  
因为HBase用于存储海量数据，故一张表中数据量非常之大，单机一般存不下这么大的数据，故HBase会将一张表按照行水平将大表划分为多个Region，每个Region保存表的一段连续数据。 初始只有1个Region，当一个Region增大到某个阈值后，便分割为两个。

**Store**  
Store是存储落盘的最小单元，由内存中的MemStore和磁盘中的若干StoreFile组成。  
一个Store里有1个或多个StoreFile和一个memStore。  
每个Store存储一个列族。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/ed455eea7fb6479b9eb787c7151f68c2.png