2.8.10 hadoop体系之离线计算-HBase数据库-HBase高级-HBase-Region Split拆分

「爱情、让人受尽委屈。」 2022-12-26 04:58 100阅读 0赞

**目录**

1.写在前面

2.Region Split 时机

3.数据倾斜

--------------------

# 1.写在前面 #

默认情况下，每个 Table 起初只有一个 Region，随着数据的不断写入，Region 会自动进行拆分。刚拆分时，两个子 Region 都位于当前的 Region Server，但处于负载均衡的考虑， HMaster 有可能会将某个 Region 转移给其他的 Region Server。

# 2.Region Split 时机 #

*  （1）当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize：10G， 该 Region 就会进行拆分（0.94 版本之前）。
 *  （2）当 1 个 region 中 的 某 个 Store 下所有 StoreFile 的 总 大 小 超 过 Min(R^2 \* "hbase.hregion.memstore.flush.size：128M",hbase.hregion.max.filesize：10G")，该 Region 就会进行拆分，其 中 R 为当前 Region Server 中属于该 Table 的个数（0.94 版本之后）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 3.数据倾斜 #

按照hbase默认的切分逻辑，满足128M，一分为二，但是后序追加数据的时候加到第二个region上，当满足2^2\*128=512时候继续切分，所以最后一定会出现一个非常大的region，相比于第一个region64M是非常大的，数据出现了倾斜，出现了数据热点问题。

所以我们建表的时候就好做好预分区。我们提前规划好要建立多少个分区，并且规定每个分区的数据量大小。我们放数据的时候，均匀的放到我们规划好的分区之中，这样就可以避免数据倾斜的问题。还有尽量使用少个列族，避免小文件，因为有一个Flush是全局的Flush。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/f7343ee13216497590a844ee7a07ab39.png