hbase 按时刻查询_HBase读写优化

绝地灬酷狼 2023-01-01 10:59 166阅读 0赞

![7527de2740f2076d6456b1491e009d2f.png][]

![840b3b18975dc370403c31c02ebf15d9.png][]

一个系统上线之后，开发和调优将一直贯穿系统的生命周期中，HBase也不列外。这里学习下HBase的调优。**Hbase查询优化**  
作为NoSQL数据库，增删改查是其最基本的功能，其中查询是最常用的一项。**设置Scan缓存**  
HBase中Scan查询可以设置缓存，方法是setCaching()，这样可以有效的减少服务端与客户端的交互，更有效的提升扫描查询的性能。  
public void setCaching(int caching) \{  
this.caching = caching;  
\}**显示的指定列**  
当使用Scan或者GET获取大量的行时，最好指定所需要的列，因为服务端通过网络传输到客户端，数据量太大可能是瓶颈。如果能有效过滤部分数据，能很大程度的减少网络I/O的花费。  
public Scan addFamily(byte \[\] family) \{  
familyMap.remove(family);  
familyMap.put(family, null);  
return this;  
\}  
public Scan addColumn(byte \[\] family, byte \[\] qualifier) \{  
NavigableSet<byte \[\]> set = familyMap.get(family);  
if(set == null) \{  
set = new TreeSet<byte \[\]>(Bytes.BYTES\_COMPARATOR);  
\}  
if (qualifier == null) \{  
qualifier = HConstants.EMPTY\_BYTE\_ARRAY;  
\}  
set.add(qualifier);  
familyMap.put(family, set);  
return this;  
\}一般用:  
scan.addColumn(...)**关闭ResultScanner**  
如果在使用table.getScanner之后，忘记关闭该类，它会一直和服务端保持连接，资源无法释放，从而导致服务端的某些资源不可用。所以在用完之后，需要执行关闭操作，这点与JDBS操作MySQL类似  
scanner.close()**禁用块缓存**  
如果批量进行全表扫描，默认是有缓存的，如果此时有缓存，会降低扫描的效率。  
scan.setCacheBlocks(true|false);对于经常读到的数据，建议使用默认值，开启块缓存。**缓存查询结果**  
对于频繁查询HBase的应用场景，可以考虑在应用程序和Hbase之间做一层缓存系统，新的查询先去缓存查，缓存没有再去查Hbase。**写入优化**  
写也是Hbase常有的操作之一，并且Hbase在写入操作上有着其他NoSQL无法比拟的优势，下面讲如何优化写入操作**关闭写WAL日志**  
一般为了保证系统的高可用性，WAL日志默认是开启状态，WAL主要用于灾难恢复的，如果应用可以容忍一定的数据丢失风险，可以在写数据的时候，关闭写WAL。**风险：** 当RegionServer宕机时，写入的数据出现丢失，且无法恢复。

![3b1d9018f3f0b27acffa4e9838584989.png][]

**设置AutoFlush**  
Htable有一个属性是AutoFlush，该属性用于支持客户端的批量更新，默认是true，当客户端每收到一条数据，立刻发送到服务端，如果设置为false，当客户端提交put请求时候，先将该请求在客户端缓存，到达阈值的时候或者执行hbase.flushcommits()，才向RegionServer提交请求。**风险** 在请求未发送到RegionServer之前客户端崩溃，数据也会丢失  
table.setAutoFlush(false);  
table.setWriteBufferSize( 12 \* 1024 \* 1024 );**预创建Region**  
一般表刚开始只有一个Region，插入该表的数据都会保存在此Region中，插入该表的所有塑化剂都会保存在该Region中，当到达一定的阈值时，才发生分裂。 这样开始时刻针对该表的写操作都集中在某台服务器上，造成这台服务器的压力很紧张，同时对整个集群资源的浪费。  
建议刚开始的时候预创建Region，可以使用Hbase自带的RegionSplitter**延迟日志flush**  
默认写入操作，首先写入WAL，并且在1S内写入HDFS，这个时间默认是1S，可以通过参数配置  
hbase.regionserver.optionallogflushinterval可以配置大一点的值，比如5s，这段时间数据会保留在内存中，直到RegionServer周期性的执行flush操作。  
希望能帮助大家。

![951d9b375d122adb0fce3c0f42a0a1e1.png][]

![e9822a883d6ca46ce8748119b7d1b18d.png][]

[7527de2740f2076d6456b1491e009d2f.png]: /images/20221120/423c18d9c2bd42978b9a0d039da1dc03.png
[840b3b18975dc370403c31c02ebf15d9.png]: /images/20221120/543f846f121d4faca8e875f8a07345c1.png
[3b1d9018f3f0b27acffa4e9838584989.png]: /images/20221120/2cf8cef29d3441c58fe99eeaa61786e4.png
[951d9b375d122adb0fce3c0f42a0a1e1.png]: /images/20221120/28e358b65cea4d738d938d12ea9f7ab0.png
[e9822a883d6ca46ce8748119b7d1b18d.png]: /images/20221120/91eaddc7f7a94aab8cbec91f54480f2b.png