hbase的cache与batch的理解

偏执的太偏执、 2022-06-13 10:48 47阅读 0赞

[hbase的cache与batch的理解][hbase_cache_batch]

http://www.cnblogs.com/editice/archive/2013/04/22/3035728.html

cache：

在默认情况下，如果你需要从hbase中查询数据，在获取结果ResultScanner时，hbase会在你每次调用ResultScanner.next（）操作时对返回的每个Row执行一次RPC操作。即使你使用ResultScanner.next(int nbRows)时也只是在客户端循环调用RsultScanner.next()操作，你可以理解为hbase将执行查询请求以迭代器的模式设计，在执行next（）操作时才会真正的执行查询操作，而对每个Row都会执行一次RPC操作。

因此显而易见的就会想如果我对多个Row返回查询结果才执行一次RPC调用，那么就会减少实际的通讯开销。这个就是hbase配置属性“hbase.client.scanner.caching”的由来，设置cache可以在hbase配置文件中显示静态的配置，也可以在程序动态的设置。

cache值得设置并不是越大越好，需要做一个平衡。cache的值越大，则查询的性能就越高，但是与此同时，每一次调用next（）操作都需要花费更长的时间，因为获取的数据更多并且数据量大了传输到客户端需要的时间就越长，一旦你超过了maximum heap the client process 拥有的值，就会报outofmemoryException异常。当传输rows数据到客户端的时候，如果花费时间过长，则会抛出ScannerTimeOutException异常。

batch：

在cache的情况下，我们一般讨论的是相对比较小的row，那么如果一个Row特别大的时候应该怎么处理呢？要知道cache的值增加，那么在client process 占用的内存就会随着row的增大而增大。在hbase中同样为解决这种情况提供了类似的操作：Batch。可以这么理解，cache是面向行的优化处理，batch是面向列的优化处理。它用来控制每次调用next（）操作时会返回多少列，比如你设置setBatch（5），那么每一个Result实例就会返回5列，如果你的列数为17的话，那么就会获得四个Result实例，分别含有5,5,5,2个列。

下面会以表格的形式来帮助理解，假设我们拥有10Row，每个row拥有2个family，每个family拥有10个列。（也就是说每个Row含有20列）

<table style="margin:0px; padding:0px; border-collapse:collapse; border-spacing:0px; border:1px solid silver; word-break:break-word; width:668px"> 
 <tbody style="margin:0px; padding:0px"> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> caching</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> batch</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> Results</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> RPCs</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> Notes</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 1</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 1</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 200</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 201</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 额外的一个RPC是用来判断scan是否完成</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 200</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 1</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 200</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 2</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> &nbsp;</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 2000</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 100</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 1</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 超过的部分没有用处，但是判断scan也在那一个RPC 中完成</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 2</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 100</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 6</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10/2 +1 (额外的判断开销）</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 2</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 20</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 11</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> &nbsp;</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 5</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 100</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 3</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> &nbsp;</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 5</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 20</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 3</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> &nbsp;</td> 
  </tr> 
  <tr style="margin:0px; padding:0px"> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 10</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 20</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> 3</td> 
   <td style="margin:0px; padding:3px; border:1px solid silver; border-collapse:collapse"> &nbsp;</td> 
  </tr> 
 </tbody> 
</table>

RPCs=(Rows\* Cols per Row) / Min(Cols per Row, Batch size) / Scanner caching

![22161715-f41a1d7fb43e4d7cafcc506342f03b62.png][]

上图引用自hbase权威指南，是用来表示一个RPC call的构成。

[hbase_cache_batch]: http://www.cnblogs.com/editice/archive/2013/04/22/3035728.html
[22161715-f41a1d7fb43e4d7cafcc506342f03b62.png]: /images/20220613/6f4ca49d987e4ef6af3257230aa4f8b1.png