2.8.9 hadoop体系之离线计算-HBase数据库-HBase高级-HBase-StoreFile Compaction合并流程

Bertha 。 2022-12-26 04:51 129阅读 0赞

**目录**

1.合并的介绍

2.合并触发条件

4.手动合并

扩展：数据真正的删除时间

--------------------

# 1.合并的介绍 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

由于mem store每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp） 和不同类型（Put/Delete）有可能会分布在不同的 HFile 中，因此查询时需要遍历所有的 HFile。为了减少 HFile 的个数，以及清理掉过期和删除的数据，会进行 StoreFile Compaction。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

Compaction 分为两种，分别是 Minor Compaction 和 Major Compaction。

*  Minor Compaction 会**将临近的若干个较小的 HFile 合并成一个较大的 HFile**，但**不会清理过期和删除的数据**。
 *  Major Compaction 会**将一个 Store 下的所有的 HFile 合并成一个大 HFile**，并且**会清理掉过期和删除的数据**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

# 2.合并触发条件 #

默认事件是7天，大合并操作非常耗费资源，建议生产过程中关闭（设置为0），在应用空闲时间手动触发。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

一个store里面允许存的hfile的个数，超过这个个数就会被写入新的hfile，默认是当达到3个hfile的时候就会合并重写这些文件，重写为一个新文件，设置个数越大可以减少触发合并的次数，但是每次合并将会耗费更多的时间。（超过3个时候，小合并等同于大合并）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

# 4.手动合并 #

当我们原来store下面有超过3个文件，我们进行compact，这个时候小合并等同于大合并，合并之后，原来的四个文件并不会马上消失，大概过两三分钟就会消失。

![2020120314581180.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

## 扩展：数据真正的删除时间 ##

（1）刷新Flush（删除**同一个内存下的过期数据**）

只有在同一个内存下面的数据，当执行flush刷新的时候，会将过期的数据进行删除。如果有数据被刷新到了磁盘，flush不能将过期数据删除。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][]

（2）大合并major compact

当文件数超过3个时候大合并，出现新的文件，旧文件两三分钟后删除，这个时候也不会被全量扫描扫到。

（3）删除标记

如果我们创建一个数据，并且在刷新入磁盘之前将其删除，然后进行flush，删除标记不会被删掉会继续写入磁盘。**当执行compact的时候，删除标记才会被删掉**。flush的时候不删， 比如磁盘中行键是1的张三，我们put一个行键是1的李四，但是在内存中就将其删除，从生产环境上讲，我们是删除了行键为1的数据，这个时候如果删除标记也没了，磁盘中张三是不会被标记删除的。所以李四这个数据可以删除，但是删除标记一定要写入磁盘。**防止“张三”诈尸**！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/03cd7d92e569405fbb300ee0344e78c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/ed9e0d477d0a4a728e2ce97786e6c763.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201203143902388.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201203144426316.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201203144736951.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[2020120314581180.png]: https://img-blog.csdnimg.cn/2020120314581180.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201203145531852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201203151413304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020120315264983.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70