HBase Snapshot简介

「爱情、让人受尽委屈。」 2021-09-20 11:18 342阅读 0赞

## 一、简介 ##

HBase 从0.95开始引入了Snapshot，可以对table进行Snapshot，也可以Restore到Snapshot。Snapshot可以在线做，也可以离线做。Snapshot的实现不涉及到table实际数据的拷贝，仅仅拷贝一些元数据，比如组成table的region info，表的descriptor，还有表对应的HFile的文件的引用。

Hbase snapshot功能让你对表进行快照而不对regionserver 产生太多影响。快照，克隆 和恢复操作不涉及数据拷贝。而且，将快照导出到其他集群也不会对regionserver有影响。

0.94之前的版本，备份或克隆的唯一方法就是利用 Copytable/ExportTable ， 或在禁用表后复制HDFS中的所有hfiles。这些方法的缺点是你会降低regionserver的性能，或者你需要禁用表。那意味着不能读写，这在生产环境通常是不可接受的。

**首先在配置项中打开snapshot**

<name>hbase.snapshot.enabled</name>

</property>

**创建一个snapshot**  
无论表是否可用，你都可以做快照。Snapshot操作不涉及到数据复制。

$ ./bin/hbase shell

hbase> snapshot 'myTable', 'myTableSnapshot-122112'

默认的行为是在snapshot之前刷一遍内存中的数据。这意味着内存中的数据也包括在snapshot之中。大多数情况中，这是我们所希望的。然而，如果你的配置可以忍受内存中的数据没有刷进snapshot，你可以使用SKIP\_FLUSH 选项来关闭。

没有办法确定或预测一个非常规并发的插入，更新将包括在给定的快照中，是否启用刷新。快照只是在时间窗口中的表的表示。

快照操作到达每个区域服务器所需的时间从几秒钟到一分钟不等，取决于资源负载和硬件或网络的速度，以及其他因素。也没有办法知道一个给定的插入或更新是在内存中还是被刷新。

#### 列出snapshot ####

$ ./bin/hbase shell

hbase> list_snapshots

#### 删除snapshot ####

$ ./bin/hbase shell

hbase> delete_snapshot 'myTableSnapshot-122112'

#### 从snapshot 克隆一个表 ####

从snapshot你可以创建一张数据与做snapshot时一样的新表。克隆操作，不涉及数据拷贝，修改克隆表也不影响snapshot和原始表。

$ ./bin/hbase shell

hbase> clone_snapshot 'myTableSnapshot-122112', 'myNewTestTable'

#### 恢复一张表 ####

恢复操作需要表离线不可用，恢复操作将让表回到snapshot时的状态，同时改变数据和schema，如果必要的话。

$ ./bin/hbase shell

hbase> disable 'myTable'

hbase> restore_snapshot 'myTableSnapshot-122112'

#### 输出到其他集群 ####

$ bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://srv2:8082/hbase -mappers 16

#### 与其它集群的导出或导入 ####

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \

-snapshot MySnapshot -copy-to hdfs://srv2:8082/hbase \

-chuser MyUser -chgroup MyGroup -chmod 700 -mappers 16

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \

-snapshot MySnapshot -copy-from hdfs://srv2:8082/hbase \

-copy-to hdfs://srv1:50070/hbase \

#### 用来改表名 ####

hbase> disable 'tableName'

hbase> snapshot 'tableName', 'tableSnapshot'

hbase> clone_snapshot 'tableSnapshot', 'newTableName'

hbase> delete_snapshot 'tableSnapshot'

hbase> drop 'tableName'

## 二、原理解析 ##

Snapshot之所以能在常数时间内完成，是因为它只是一组元数据（MetaData）的集合。Snapshot的操作都不需要复制任何业务数据。  
首先我们要理解，HBase的底层存储文件HFile是什么，以及是怎么被生成的、怎么被删除的（或者叫生命周期）。其次就不难理解Snapshot为什么不需要复制业务数据了。

**1. HFile是什么**

HBase是一个Key-Value数据库，其基本数据操作（如Put、Delete等）最后都化归为Key-Value对，存储在HDFS的一个个文件（HFile）中：  
[![image][]][image 1]

注意上图绿色的Key字段中，最后有个1 Byte的Key Type域，即是用来区分Put和Delete的。

另外更需注意的一点是，HBase的Delete操作并不是立即定位到目标数据将其删除或者做个删除标记，因为HDFS不支持这种随机写。Delete操作也跟Put一样存储，只是Key Type域不一样，以及Value域为空而已。HBase在读取时，会将拥有Delete操作的数据过滤掉。而具体何时删除目标数据，则是在对HFile做Compaction时。

**2. HFile的两种生成方式**  
HFile有两种生成方式，分别是MemStore Flush和Compaction

*  MemStore Flush  
    写操作（Put、Delete等）在WAL（Write-Ahead Log）提交成功后，马上会写入对应Region Server的内存缓冲区（MemStore）中。在MemStore里这些操作是按key排好序的。当MemStore写满时，就会将这些数据写入到HDFS中成为一个HFile。
 *  Compaction  
    HFile内部的数据是按key排好序的，但HFile之间的数据并不能保证key的顺序，也就是说，对于新生成的HFile，其里面的key值并不都比老的HFile的大。因此每次检索时，都需要在所有HFile中检索一次，再将结果合并。虽然HBase针对这个设计了各种加速机制（如Bloom Filter），但HFile文件数目一多还是会比较吃力，因此就需要对HFile做合并操作（Compaction）。Compaction分为minor和major两种级别，本质上都是从几个HFile生成合并后的HFile（类似于合并几个有序数组），然后，老的HFile被删除，起用合并后的HFile。

**3. HFile何时会被删除**  
上面提到过的，在完成Compaction后，老的HFile就会被删除，起用合并后的HFile。

**4. Snapshot操作的实现**  
细心的你是否发现了一个事实，**HFile是不会被追加或者修改的**！HFile一旦生成，就不会再被改变，只有被拿去合并后，生成了新的HFile，完成自己的使命时才会被删除。

那如果不删除呢？

比如说，我今天建了个表开始跑业务，这个表总共生成了10个HFile，每二天又生成一些HFile，并因此触发了合并操作，现在启用的HFile里有一些是老的没被合并的，有一些是新的由合并产生的。如果昨天那10个HFile还在，那我只要让这个表启用原来的这10个HFile，不就回滚到昨天的状态了嘛。依靠的是什么？就是这10个HFile自从诞生之后就不会被改动，连追加都不会。他们像琥珀一样，记录了这个表昨天的所有数据。

因此，建立Snapshot其实就是把当前所有启用的HFile文件名记录下来，并提醒系统在Compaction时不要删除它们。恢复Snapshot就是重新启用当时的那些HFile。当然这两句话说得不严谨，还有一些细节要处理，比如建Snapshot时要把内存里的东西也存下来先。具体是这样的：

*  建立Snapshot  
    1，Master与RegionServer同步，让他们同时进行MemStore flush  
    2，记录MetaData，即当前表有哪些region，每个region使用的HFile是哪些  
    3，“标记”HFile以防被删除  
    \*建立Snapshot的过程不需要让表下线。
 *  恢复Snapshot  
    根据Snapshot对应的MetaData恢复各个region，该表需要先下线

## 总结 ##

本文解析了为什么HBase的Snapshot操作只需要常数时间，不需要复制业务数据。其实说白了就一点，因为HFile生成之后只会被删除，不会被修改，连追加的修改都不会！

参考：

[https://blog.csdn.net/zxln007/article/details/78921838][https_blog.csdn.net_zxln007_article_details_78921838]

[https://blog.csdn.net/huang\_quanlong/article/details/50875567][https_blog.csdn.net_huang_quanlong_article_details_50875567]

转载于:https://www.cnblogs.com/zhangwuji/p/9255700.html

[image]: /images/20210726/689ea9fd5455429d87f44bc32b81bc80.png
[image 1]: https://images2018.cnblogs.com/blog/789140/201807/789140-20180702205001884-253562632.png
[https_blog.csdn.net_zxln007_article_details_78921838]: https://blog.csdn.net/zxln007/article/details/78921838
[https_blog.csdn.net_huang_quanlong_article_details_50875567]: https://blog.csdn.net/huang_quanlong/article/details/50875567