Hbase基础

野性酷女 2021-12-19 00:39 253阅读 0赞

# Hbase #

谷歌—BigTable论文

海量存储、列式存储、极易扩展(RS/HDFS)、高并发、稀疏性(主要是针对Hbase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的)

Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库

利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务

主要用来存储非结构化和半结构化的松散数据

快的原因：用户操作的是数据的标记，不是操作真正的数据，当数据后期的合并和拆分的时候才处理数据

## 一、HBASE数据模型 ##

<table> 
 <thead> 
  <tr> 
   <th align="center">Row Key</th> 
   <th align="center">Time Stamp</th> 
   <th align="center">CF1</th> 
   <th align="center">CF2</th> 
   <th align="center">CF3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">11248112</td> 
   <td align="center">t6</td> 
   <td align="center"></td> 
   <td align="center">CF2:q1=val1</td> 
   <td align="center">CF3:q3=val3</td> 
  </tr> 
  <tr> 
   <td align="center">11248112</td> 
   <td align="center">t3</td> 
   <td align="center"></td> 
   <td align="center"></td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="center">11248112</td> 
   <td align="center">t2</td> 
   <td align="center">CF1:q2=val2</td> 
   <td align="center"></td> 
   <td align="center"></td> 
  </tr> 
 </tbody> 
</table>

### RowKey ###

*  RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要；

决定一行数据

按照字典顺序排序的。

Row key只能存储64k的字节数据

### Column Family列族 & qualifier列 ###

*  Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列；
 *  qualifier：属于某一个columnfamily，familyName:columnName，每条记录可动态添加

**Tips**：创建表的时候可以不给列，但是必须给列族

HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’；

列名以列族作为前缀，每个“列族”都可以有n个列成员(column)；如course:math, course:english, 新的列族成员（列）可以随后按需、动态加入

权限控制、存储以及调优都是在列族层面进行的

HBase把同一列族里面的数据存储在同一目录下，由几个文件保存

### Timestamp时间戳 ###

*  Version Number：类型为Long，默认值是系统时间戳，可由用户自定义；

**Tips**：时间戳可以理解为 是数据的版本号

在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面

时间戳的类型是 64位整型

时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间

时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳

### Cell单元格 ###

*  Value(Cell)：Byte array。

由行和列的坐标交叉决定；

单元格是有版本的

单元格的内容和数据是以字节数组存储，因此不需要做类型的声明

由\{row key， column( = +)， version\} 唯一确定的单元

----由4个维度（k，列族，列，v）确定唯一单元

### HLog(WAL log) ###

除了记录操作数据之外还记录数据信息。如果数据丢失，可以根据HLog恢复。但是需要维护

一般的日志文件只保存操作，没有数据

## 二、HBASE架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTI5OTIx_size_16_color_FFFFFF_t_70]

### 1.重要组成作用 ###

#### Client ####

包含访问HBase的接口并维护cache来加快对HBase的访问

触发读写请求

#### Zookeeper ####

通过zk集群的事件处理机制，可以保证任何时候，集群中只有一个活跃master

实时监控Region server的上线和下线信息。并实时通知Master(心跳)

存储HBase的schema和table元数据

存贮所有Region的寻址入口

Hbase中两张特殊的表：-ROOT-表与.META.表  
 -ROOT-表：记录了所有.META.表的元数据信息，-ROOT-表只有一个Region  
 -META.表：记录了Hbase中所有用户表的HRegion的元数据信息，.META.表可以有多个Region

#### Master ####

为Region server分配region

负责整个集群的Region server负载均衡

发现失效的Region server并重新分配其上的region

首先，失效的Region server 元数据信息在Master上；其次，数据在HDFS上，所以挂掉以后可拿到数据

管理用户对table的增删改操作

tips:

负责 region 切/合并 的时机，但是具体操作是RS来进行的

#### RegionServer ####

实际处理客户端请求，读写

负责维护region，处理对这些region的IO（输入输出）请求

负责切分在运行过程中变得过大的region

负责storeFile的合并

负责底层和HDFS的交互，存储数据到HDFS上

#### HLog ####

读写请求操作先写入HLog中，增删改

保存在HDFS上

#### Region–表 ####

HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里面某段**连续的数据**

每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候(最大10G，此时需要预分区解决数据负载问题)，region就被regionSever等分成两个新的region（裂变）

当table中的行不断增多，就会有越来越多的region。**这样一张完整的表被保存在多个Regionserver 上**

#### Store–列族 ####

相当于表中的列族，列族可能分布在不同的表中

#### Memstore(内存) 与 Storefile(磁盘) ####

Memstore默认大小是128M

一个region由多个store组成，一个store对应一个CF（列族）

store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore，当memstore中的数据达到某个阈值(128M)，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile

当storefile文件的数量增长到一定阈值后，系统会进行合并（minor/major compaction），在合并过程中会进行版本合并和删除工作（major），形成更大的storefile

**Tips:** **2种合并方式** —进行版本合并和删除工作（旧版本）

minjor：小合并方式，不影响读写性能，通常情况下可以自动触发

major：大合并方式，影响业务系统，通常情况下不可以自动触发，可以设置合并时间，

当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由Hmaster自动分配到相应的regionserver服务器，实现负载均衡

客户端检索数据，先在memstore找，找不到再找storefile

#### Hfile ####

联系到HDFS，文件以Hfile存储在HDFS的DataNode上

#### HDFS ####

### 2.读写流程 ###

写比读快 新版本没有ROOT表

**写**  
 客户端将数据发至ZK，ZK找到META表后向对应的RS发出写请求，先写到HLog保存编辑日志，再向R中的Mstore写数据

**读** LRU最近最少使用  
 客户端发送读请求到ZK,ZK找自身的ROOT表，查看数据R在哪个META表上记录，在META表找到R具体位置（MS/SF），找到后将数据写到内存，再返回客户端

具体到某个RS读数据时，并不是先读磁盘数据，而是内存和磁盘数据一起读，读取之后进行merge合并，合并后的数据比较时间戳大小，返回的是最大的时间戳数据信息

**Tips:**

磁盘读出的数据放在当前RS中Block Cache读缓存中，若缓存中有数据则不需要读磁盘，直接将缓存的数据和内存的数据合并即可

读写流程不需要Master参与，但是如果没有Master参与，这个集群是不健康的，因为Master无法调度RS，无法将切分的数据分发到其他RS

### 3.写流程的 flash/compact/spilt ###

#### flash ####

flash 刷写 触发条件：

大小—全局的RS中，MStore累计达到当前堆内存(RS)的40%\*95%，在刷时会有排序，先刷大的数据

时间—全局的RS中，任意MStore的数据存储时间达到1h

大小—全局的RS中，某一Region的MStore累计达到128M

#### compact ####

compact 合并 触发条件：

时间—Region所有Hfile7天合并一次 hbase.hregion.majorcompaction

数量—Hfile >=3 hbase.hstore.compactionTheshold

2种合并方式 minjor/major  
 minjor：  
 多个文件合并成多个  
 小合并方式，不影响读写性能，通常情况下可以自动触发  
 major：  
 多个文件合并成一个  
 大合并方式，删除过期数据，影响业务系统，通常情况下不可以自动触发，可以设置合并时间

#### split ####

split 切分 触发条件：

大小—某个RS中最大的Region大小达到10G 数据倾斜–>预分区

按照RowKey切分，因此，多个列族任意发生小文件增多，在开发环境中，可以设置多个小文件同时增长可以避免

#### split & compact ####

RS将数据分配到不同的R，由R的MS暂存数据，当MS达到大小阙值时，MS将数据写到1个SF上，重新开辟MS，当多个SF达到数量阙值时，进行compact，化作大SF。当大SF达到大小阙值时，进行split，分化两个SF，并且父（大）FS将下线。HM将分化出来的FS丢给另一个RS来达到负载均衡

### 4.数据删除 ###

触发数据删除操作

flash  
 仅操作当前内存，不能操作磁盘  
 在同一个内存中数据被标记过，数据过时 就可以删除  
 不能删除跨多个文件的数据  
 刷写时不能删除 删除标记

compact(major)  
 多个文件合并成一个文件，在合并后的数据可以判断版本号，可以删除所需数据  
 合并时可以删除 删除标记

## 三、集群搭建 ##

伪分布搭建：  
1.解压  
2.修改hbase-env.sh文件的jdk地址  
3.添加hbase-site.xml的zk配置信息和存放hbase文件位置

完全分布式搭建 1.解压 2.添加backup-masters hbase-env.sh hbase-site.xml regionservers 3.将hadoop的hdfs-site.xml拷贝到hbase的conf下 4.访问主节点端口60010

## 四、Hbase基本操作 ##

创建表 create ‘table’, ‘column\_family\_1’,‘column\_family\_2’,‘column\_family\_3’…  
删除表 先关再删 disable ‘hbase\_test’  
 drop ‘hbase\_test’  
更新表 put ‘table’, ‘row key’, ‘column\_family:column’, ‘value’  
查询表 get ‘hbase\_test’,‘key\_1’  
 scan ‘hbase\_test’  
删除数据 列族下某一数据 delete ‘hbase\_test’,‘key\_6’,‘column\_family\_3:’  
 列族 delete ‘hbase\_test’,‘key\_6’  
 整张表 truncate ‘hbase\_test’

## 五、Hbase-API操作 ##

a.连接、初始化Hbase（zk）  
 //表的管理类  
 HBaseAdmin admin = null;  
 //数据的管理类  
 HTable table = null;  
 @Before  
 public void init() throws Exception\{  
 Configuration conf = new Configuration();  
 conf.set(“hbase.zookeeper.quorum”, “sxt002,sxt003,sxt004”);  
 admin = new HBaseAdmin(conf);  
 table = new HTable(conf,tm.getBytes());  
 \}  
  
b.创建表  
 String tm = “phone”;  
 @Test  
 public void createTable() throws Exception\{  
 //表的描述类  
 HTableDescriptor desc = new HTableDescriptor(TableName.valueOf™);  
 //列族的描述类  
 HColumnDescriptor family = new HColumnDescriptor(“cf”.getBytes());  
 //将列族与表合并  
 desc.addFamily(family);  
 //判断表是否存在  
 if(admin.tableExists™)\{  
 admin.disableTable™;  
 admin.deleteTable™;  
 \}  
 admin.createTable(desc);  
 \}  
  
c.添加数据（insert）  
 @Test  
 public void insert() throws Exception\{  
 Put put = new Put(“1111”.getBytes());  
 put.add(“cf”.getBytes(), “name”.getBytes(), “zhangsan”.getBytes());  
 put.add(“cf”.getBytes(), “age”.getBytes(), “12”.getBytes());  
 put.add(“cf”.getBytes(), “sex”.getBytes(), “man”.getBytes());  
 table.put(put);  
 \}  
  
d.查询数据（get、scan）  
–get  
 @Test  
 public void get() throws Exception\{  
 Get get = new Get(“1111”.getBytes());  
 //添加要获取的列和列族，减少网络的io，相当于在服务器端做了过滤  
 get.addColumn(“cf”.getBytes(), “name”.getBytes());  
 get.addColumn(“cf”.getBytes(), “age”.getBytes());  
 get.addColumn(“cf”.getBytes(), “sex”.getBytes());  
  
 Result result = table.get(get);  
 Cell cell1 = result.getColumnLatestCell(“cf”.getBytes(), “name”.getBytes());  
 Cell cell2 = result.getColumnLatestCell(“cf”.getBytes(), “age”.getBytes());  
 Cell cell3 = result.getColumnLatestCell(“cf”.getBytes(), “sex”.getBytes());  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell1)));  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell2)));  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell3)));  
 \}

–scan  
 @Test  
 public void scan() throws Exception\{  
 Scan scan = new Scan();  
 ResultScanner rss = table.getScanner(scan);  
 for (Result result : rss) \{  
 Cell cell1 = result.getColumnLatestCell(“cf”.getBytes(), “name”.getBytes());  
 Cell cell2 = result.getColumnLatestCell(“cf”.getBytes(), “age”.getBytes());  
 Cell cell3 = result.getColumnLatestCell(“cf”.getBytes(), “sex”.getBytes());  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell1)));  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell2)));  
 System.out.println(Bytes.toString(CellUtil.cloneValue(cell3)));  
 \}  
 \}  
  
e.关闭连接  
 @After  
 public void destory() throws Exception\{  
 if(admin!=null)\{  
 admin.close();  
 \}  
 \}

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTI5OTIx_size_16_color_FFFFFF_t_70]: /images/20211219/39f64021e2ac40a0966bd4757210664c.png