Hbase中compaction的触发条件

Myth丶恋晨 2022-08-11 10:28 133阅读 0赞

下列三个条件可能会触发compaction请求：

1. memstore flush之后触发；

2. 客户端通过shell或者API触发；

3. 后台线程CompactionChecker定期触发，周期为：hbase.server.thread.wakefrequency\*hbase.server.compactchecker.interval.multiplier。

触发了compaction请求后，真正的compaction操作能否执行，还有进行一系列的条件验证。在此只对众多条件中的一种做以记录，即由hbase.hregion.majorcompaction和hbase.hregion.majorcompaction.jitter控制的一组条件。这是一个store是否需要major compaction的一组验证条件，hbase.hregion.majorcompaction表示一个基数，hbase.hregion.majorcompaction.jitter表示一个比率，在0.96.2中，前者默认为7天，后者默认为0.2。

此条件的验证逻辑为：

1. 在hbase.hregion.majorcompaction的上下浮动区间hbase.hregion.majorcompaction\*hbase.hregion.majorcompaction.jitter中，得到的一个随机值mcTime，在0.96.2中，mcTime的值为\[7-7\*0.2天,7+7\*0.2天）;

2. 获取一个store中所有storefile的最晚更新时间lowTimestamp。如果该store中没有storefile，说明不需要进行major compaction，结束本次验证；

3. 如果距当前时间的mcTime时段以内，没有文件被修改，即lowTimestamp < (当前时间 - mcTime)，则转向4，否则说明不需要进行major compaction，结束本次验证；

4. 如果该store中有多个storefile，则表示需要进行major compaction。否则说明只有一个storefile，转向5；

5. 如果storefile中包含满足TTL条件的数据，则需要进行major compaction，否则不需要。

上述验证逻辑可见0.96.2的RatioBasedCompactionPolicy\#isMajorCompaction方法。

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关深入浅出系列Hbase之memstore flush、compaction

Memstore Flush 介绍 Memstore Flush深度解析请阅读：[http://hbasefly.com/2016/03/23/hbase-

小鱼儿/ 2023年02月20日 07:24/ 0 赞/ 8 阅读

相关 kafka中的compacted topics

概述本篇用来解析\[2\] \[2\]中所有Flink SQL的含义 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

曾经终败给现在/ 2022年10月29日 01:58/ 0 赞/ 106 阅读

相关 Full gc的触发条件

除直接调用System.gc外，触发Full GC执行的情况有如下四种。 1. 旧生代空间不足旧生代空间只有在新生代对象转入及创建为大对象、大数组时才会出现不足的现象，当

落日映苍穹つ/ 2022年09月23日 13:45/ 0 赞/ 228 阅读

相关 HBase架构:HLog region store memstore compact storefile

HLog(WALlog)预写日志 write ahead log 写数据先写到日志再写memstore hbase的快在于内存和顺序写 region 即ta

布满荆棘的人生/ 2022年09月13日 11:20/ 0 赞/ 133 阅读

相关深入理解 HBase Compaction 机制

HBase有很多话题可以聊，包括读写路径上涉及到的一些数据结构，性能优化以及优化读写做的一些设计等。今天要探讨的Compaction机制就是HBase架构上做的一个重要优化，其

ゞ浴缸里的玫瑰/ 2022年09月09日 00:28/ 0 赞/ 207 阅读

相关 HBase条件查询（多条件查询）

Author：Pirate Leo myBlog: [http://blog.csdn.net/pirateleo/][http_blog.csdn.net_pirat

以你之姓@/ 2022年08月26日 00:53/ 0 赞/ 1365 阅读

相关 Hbase中compaction的触发条件

下列三个条件可能会触发compaction请求： 1. memstore flush之后触发； 2. 客户端通过shell或者API触发； 3. 后台线程Compa

Myth丶恋晨/ 2022年08月11日 10:28/ 0 赞/ 134 阅读

相关 HBase--Split和Compact

1 Region拆分一个Region代表一个表的一段Rowkey的数据集合，当Region太大，Master会将其拆分。Region太大会导致读取效率太低，遍历时间太长

你的名字/ 2021年12月18日 18:27/ 0 赞/ 328 阅读

相关 Full GC的触发条件

Full GC 的触发条件对于Minor GC，其触发条件非常简单，当 Eden 空间满时，就将触发一次 Minor GC。而 Full GC 则相对复杂，有以下条

落日映苍穹つ/ 2021年10月19日 22:22/ 0 赞/ 444 阅读

相关 CMS的CMSInitiatingOccupancyFraction 及触发条件

CMS触发条件：[https://blog.csdn.net/a479898045/article/details/96074872][https_blog.csdn.net_

刺骨的言语ヽ痛彻心扉/ 2021年08月27日 16:41/ 0 赞/ 713 阅读