Hbase读写流程

Love The Way You Lie 2023-01-08 10:24 92阅读 0赞

# Hbase读写流程 #

# 一、写数据流程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]  
写流程：

> 1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。  
> 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。  
> 3）与目标Region Server进行通讯；  
> 4）将数据顺序写入（追加）到WAL；  
> 5）将数据写入对应的MemStore，数据会在MemStore进行排序；  
> 6）向客户端发送ack；  
> 7）等达到MemStore的刷写时机后，将数据刷写到HFile。

读写都是交给regionserver负责处理！

写数据分两步：

> step1: 找所写数据region所在的regionserver  
> step2： regionserver写数据

**①如何知道应该将请求发送给哪个regionserver?**

>  如何知道region和regionserver的对应关系？ hbase:meta  
>  如何知道 hbase:meta 所在的regionserver? 查询zk的/hbase/meta-region-server获取

当获取meta表后，如何得知当前的数据应该放入哪个region? 继而得知如何放入哪个regionserver?

> 根据当前数据插入的表获取所有的region,再根据插入数据的rowkey和region的startkey和endkey进行比较，判断当前数据应该放入哪个region!  
>  再读取region所在行的info:server列，获取对应的regionserver即可！

**②向regionserver发送写请求**

> a) 由regionserver找到对应region的WAL对象，进行预写日志记录  
> b) 数据根据列族，写入到对应的store对象的memstore中  
> c) 通知客户端写成功

**③后续**

> memstore满的时候，或触发了其他的flush条件，memstore中的数据会被刷写到storefile中！  
>  书写后，过期的WAL文件会移动到oldWALS目录中。

## 二、读取数据流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]  
读流程

> 1）Client先访问zookeeper，获取hbase:meta表位于哪个Region Server。  
> 2）访问对应的Region Server，获取hbase:meta表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。  
> 3）与目标Region Server进行通讯；  
> 4）分别在Block Cache（读缓存），MemStore和Store File（HFile）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。  
> 5）将查询到的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache。  
> 6）将合并后的最终结果返回给客户端。

总体分两步：

> ①找查询的region对应的regionserver  
> ②regionserver处理读请求，返回数据

**step1:**

> a) 查询zk的/hbase/meta-region-server获取 hbase:meta表的regionserver  
> b) 向 hbase:meta表的regionserver 发请求，下载meta表，缓存到客户端本地，方便以后使用  
> c) 从hbase:meta表中，根据查询的rowkey和表名，确定要查询的region，继而确定region所在的regionserver

**step2:**

> d) 向这些region的regionserver发请求，查询指定列族的数据  
> e) 先查memstore，再查blockcache， 再查storefile  
> f) 如果扫到了storefile，那么数据所在的block(16k)会被缓存如blockcache

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221119/2c1ddebe3f4b457da70da5e262591c72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2021011921180170.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw==,size_16,color_FFFFFF,t_70