hbase热点问题

朴灿烈づ我的快乐病毒、 2022-12-17 14:51 150阅读 0赞

hbase的热点问题：  
hbase热点问题解决（预分区） [https://blog.csdn.net/qq\_31289187/article/details/80869906][https_blog.csdn.net_qq_31289187_article_details_80869906]  
Hbase split的三种方式和split的过程 [https://www.cnblogs.com/niurougan/p/3976519.html][https_www.cnblogs.com_niurougan_p_3976519.html]

082 HBase的几种调优（GC策略，flush，compact，split）[http://www.cnblogs.com/juncaoit/p/6170642.html][http_www.cnblogs.com_juncaoit_p_6170642.html]  
***这上面讲解了这些，hbase 命令的使用  
081 Region的预分区 [https://www.cnblogs.com/juncaoit/p/6170510.html][https_www.cnblogs.com_juncaoit_p_6170510.html] 的4中方法***  
—————————————————————————————————————————————————  
**什么是hbase的热点问题**  
**出现热点问题原因**  
1、hbase的中的数据是按照字典序排序的，当大量连续的rowkey集中写在个别的region，各个region之间数据分布不均衡；  
2、创建表时没有提前预分区，创建的表默认只有一个region，大量的数据写入当前region；  
3、创建表已经提前预分区，但是设计的rowkey没有规律可循，设计的rowkey应该由regionNo+messageId组成。

**如何解决热点问题**  
解决这个问题，关键是要设计出可以让数据分布均匀的rowkey，与关系型数据库一样,rowkey是用来检索记录的主键。访问hbase table中的行，rowkey 可以是任意字符串(最大长度 是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，rowkey保存为字节数组，存储时，数据按照rowkey的字典序排序存储。

创建表命令：  
create 'testTable',\{NAME => 'cf', DATA\_BLOCK\_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION\_SCOPE=> '0', VERSIONS => '1', COMPRESSION => 'snappy', MIN\_VERSIONS =>'0', TTL => '15552000', KEEP\_DELETED\_CELLS => 'false', BLOCKSIZE =>'65536', IN\_MEMORY => 'false', BLOCKCACHE => 'true', METADATA =>\{'ENCODE\_ON\_DISK' => 'true'\}\},\{SPLITS\_FILE=>'/app/soft/test/region.txt'\}

[https://blog.csdn.net/weixin\_41279060/article/details/78855679][https_blog.csdn.net_weixin_41279060_article_details_78855679] hbase系列-Hbase热点问题、数据倾斜和rowkey的散列设计

**预分区和rowkey的散列设计——解决数据倾斜和热点问题**  
预分区，让表的数据可以均衡的分散在集群中，而不是默认只有一个region分布在集群的一个节点上。（预分区个数=节点的倍数，看数据量估算，region不足了会被分列，预分区后每个region的rowkey还是有序的）

如何给hbase表预分区  
HBase预分区方法 [https://www.cnblogs.com/quchunhui/p/7543385.html][https_www.cnblogs.com_quchunhui_p_7543385.html] \*\*\*\*\*  
Hbase 表的设计原则 ————总结 [https://blog.csdn.net/m0\_37138008/article/details/78985946][https_blog.csdn.net_m0_37138008_article_details_78985946]

文章来源：[https://blog.51cto.com/12445535/2352410][https_blog.51cto.com_12445535_2352410]

[https_blog.csdn.net_qq_31289187_article_details_80869906]: https://blog.csdn.net/qq_31289187/article/details/80869906
[https_www.cnblogs.com_niurougan_p_3976519.html]: https://www.cnblogs.com/niurougan/p/3976519.html
[http_www.cnblogs.com_juncaoit_p_6170642.html]: http://www.cnblogs.com/juncaoit/p/6170642.html
[https_www.cnblogs.com_juncaoit_p_6170510.html]: https://www.cnblogs.com/juncaoit/p/6170510.html
[https_blog.csdn.net_weixin_41279060_article_details_78855679]: https://blog.csdn.net/weixin_41279060/article/details/78855679
[https_www.cnblogs.com_quchunhui_p_7543385.html]: https://www.cnblogs.com/quchunhui/p/7543385.html
[https_blog.csdn.net_m0_37138008_article_details_78985946]: https://blog.csdn.net/m0_37138008/article/details/78985946
[https_blog.51cto.com_12445535_2352410]: https://blog.51cto.com/12445535/2352410