轻松理解Hbase面向列的存储

骑猪看日落 2022-09-09 01:53 24阅读 0赞

### 1. 前言 ###

从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为`面向列的存储`，请各位看官注意这一点。

#### 1.1 行式存储 ####

传统的数据库是关系型的，且是按行来存储的。如下图：  
![在这里插入图片描述][f43c9f9efe5842189f734aed97780d3d.png_pic_leftt]  
其中只有张三把一行数据填满了，李四王五赵六的行都没有填满。因为这里的行结构是固定的，每一行都一样，即使你不用，也必须空到那里，而不能没有。

#### 1.2 列式存储 ####

为了与传统的区别，新型数据库叫做非关系型数据库，是按列来存储的。如下图：  
![在这里插入图片描述][f365ad2bf98b492cb8a33b7b3c44d2c0.png_pic_left]  
**初次看列式存储稍微有点懵，下面给出行存与列存的转换：**

原来张三的一列（单元格）数据对应现在张三的一行数据。原来张三的六列数据变成了现在的六行。  
原来的六列数据是在一行，所以共用一个主键（即张三）。现在变成了六行，每行都需要一个主键（不然不知道这行数据是谁的），所以原来的主键（即张三）重复了六次。如下图：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left]  
由于原来的列变为了现在的行，有需要就加一行，没需要就不加，不会造成空间浪费。

#### 1.3 行存/列存对比 ####

1.  行式存储倾向于结构固定，列式存储倾向于结构弱化。  
    行式存储相当于套餐，即使一个人来了也给你上八菜一汤，造成浪费；列式存储相等于自助餐，按需自取，人少了也不浪费。
2.  行式存储一行数据只需一份主键，列式存储一行数据需要多份主键。
3.  行式存储存的都是业务数据，列式存储除了业务数据外，还要存储列名。
4.  行式存储更像一个`Java Bean`，所有字段都提前定义好，且不能改变；列式存储更像一个`Map`，不提前定义，随意往里添加`key/value`。

### 2. Hbase面向列的存储 ###

> 官方介绍  
> `Apache Hbase`是`Hadoop`数据库，一个分布式、可扩展、大数据存储。  
> 当你需要随机地实时读写大数据时使用Hbase。它的目标是管理超级大表-数十亿行X数百万列。  
> Hbase是一个开源的、分布式的、带版本的、非关系型数据库，模仿谷歌的BigTable。BigTable使用Google File System作为分布式数据存储，同理Hbase使用HDFS。

`Hbase`虽然弱化了结构，但并不等于放任不管。传统关系型数据库在插入数据前表结构（即所有列和列的数据类型）已经是严格确定的。

`Hbase`的表在放入数据前也有需要确定下来的东西，那就是`Column Family（常译为列族/列簇）`。单词`Family`就是家庭的意思，所以列族就是列的家庭。那么列自然就是家庭成员了，通常家庭成员都有多个，所以一个列族包含多个列。一个家庭的成员之间具有血缘关系，所以一个列族的多个列之间通常也具有某种关系，比如相似或同种类别。所以列族可以看作是某种分类（归类）。

一个非常常见的例子，去面试的时候，一般前台MM都会让填一张表，通常信息很多，每个公司又不尽相同。但大致可以分三类：人员基本信息，教育经历信息，工作经历信息，这三个类别其实就相当于三个列族。如下图：  
![在这里插入图片描述][37fc403de01144278328a03aec196722.png_pic_left]  
每个类别里都会有具体的信息，比如人员基本信息里有姓名、电话、出生年月等，它们就相当于一个个标识符（变量名），在`Hbase`中叫做`Column Qualifier（列修饰符）`。列修饰符位于列族里面用来标识一条条数据。如下图：  
![在这里插入图片描述][1a1614f971b94436a98d0193fff29437.png_pic_left]  
在Hbase中一个`列族（Column Family）`和一个`列修饰符（Column Qualifier）`组合起来才叫一个`列（Column）`，使用冒号（`:`）分割，`列族:列修饰符`，如下图：  
![在这里插入图片描述][5eeb30beb38242c083d29b9472741076.png_pic_left]  
在传统数据库中每一行的唯一标识符叫做主键，在Hbase中叫做`row key（行键）`。如下图：  
![在这里插入图片描述][a05035128d6c4872a30de6e1cbb56ca1.png_pic_left]  
数据在进入Hbase时都会被打上一个时间戳，这个`时间戳`可以作为`版本号`来使用。  
在`t1`时间我存入一个人的基本信息，之后发现姓名错了，在`t2`时间又更新了姓名，此时并不会去更新原来的那条数据，而是又插入了一条新数据且打上新的时间戳。  
此时去查询获取的是新数据，仿佛是更新了，但其实只是默认返回了最新版本的数据而已。如下图：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 1]  
一个`行键`、`列族`、`列修饰符`、`数据`和`时间戳`组合起来叫做一个`单元格（Cell）`。这里的行键、列族、列修饰符和时间戳其实可以看作是定位属性（类似坐标），最终确定了一个数据。下图中的一行相等于Hbase中的一个单元格：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 2]

一个`行键`、`一到多列（包括数据）`组合起来叫做一`行（Row）`。下图中所有`1001`的数据合起来相当于Hbase中的一行，`1002`的相当于另一行：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 3]

在Hbase中，只要确定了`列族`（具体的列不用管），`表（Table）`就确定了。如下图：  
![在这里插入图片描述][fe40813d17e3402a99fd5480a38b5787.png_pic_left]

> 官方文档中提醒：  
> 把传统数据库中的表/行/列的概念用在Hbase中不是一个有帮助的类比。相反可以把Hbase的表想象成一个`多（两）维Map`（Map套Map）。`列族是第一维，列修饰符是第二维`。

说明：  
任何细微的差别在大数量时都会被无限放大，那么列族和列修饰符的名字起的短一些能够节省可观的空间。

[f43c9f9efe5842189f734aed97780d3d.png_pic_leftt]: /images/20220829/5b51950686aa466c826ef9733d742e2f.png
[f365ad2bf98b492cb8a33b7b3c44d2c0.png_pic_left]: /images/20220829/e3ecf9f4c4fe4a8a85735a4a48b740b4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left]: /images/20220829/5a5c1dc6b46846fd9a0da90a0cd07184.png
[37fc403de01144278328a03aec196722.png_pic_left]: /images/20220829/4fc417d2d0144f8c9cadba9bddfd00eb.png
[1a1614f971b94436a98d0193fff29437.png_pic_left]: /images/20220829/855a4f0d34ce480991e83b29f12ef8f5.png
[5eeb30beb38242c083d29b9472741076.png_pic_left]: /images/20220829/93836495f8bc403aa81fdc051ff9aea3.png
[a05035128d6c4872a30de6e1cbb56ca1.png_pic_left]: /images/20220829/cbb91142e2db4bcbae9c9b0635a25527.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 1]: /images/20220829/04856db1799f4c43b06ee349605c8cbd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 2]: /images/20220829/dce77614312d435c842e9dfa5ee02bbc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5p2O5Lqs5Lqs_size_14_color_FFFFFF_t_70_g_se_x_16_pic_left 3]: /images/20220829/5df5f9d07ed24f0f81b6c40836d357e5.png
[fe40813d17e3402a99fd5480a38b5787.png_pic_left]: /images/20220829/63d16fa540024337a659bbc842e352bb.png