Hbase优化之二级索引

电玩女神 2022-05-08 11:42 362阅读 0赞

### 1. 为什么需要用二级索引? ###

对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫描的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到rowkey中几乎不可能（业务的灵活性不允许，对rowkey长度的要求也不允许）。所以，需要secondary index（二级索引）来完成这件事。secondary index的原理很简单，但是如果自己维护的话则会麻烦一些。现在，Phoenix已经提供了对HBase secondary index的支持。

--------------------

### 2. 全局索引和本地索引 ###

#### 2.1 全局索引 ####

Global indexing，全局索引，适用于读多写少的业务场景。使用Global indexing在写数据的时候开销很大，因为所有对数据表的更新操作（DELETE, UPSERT VALUES and UPSERT SELECT），都会引起索引表的更新，而索引表是分布在不同的数据节点上的，跨节点的数据传输带来了较大的性能消耗。在读数据的时候Phoenix会选择索引表来降低查询消耗的时间。在默认情况下如果想查询的字段不是索引字段的话索引表不会被使用，也就是说不会带来查询速度的提升。

#### 2.2 本地索引 ####

Local indexing，本地索引，适用于写操作频繁以及空间受限制的场景。与Global indexing一样，Phoenix会自动判定在进行查询的时候是否使用索引。使用Local indexing时，索引数据和数据表的数据存放在相同的服务器中，这样避免了在写操作的时候往不同服务器的索引表中写索引带来的额外开销。使用Local indexing的时候即使查询的字段不是索引字段索引表也会被使用，这会带来查询速度的提升，这点跟Global indexing不同。对于Local Indexing，一个数据表的所有索引数据都存储在一个单一的独立的可共享的表中。

--------------------

### 3. 不可变索引和可变索引 ###

#### 3.1 不可变索引 ####

immutable index，不可变索引，适用于数据只增加不更新并且按照时间先后顺序存储（time-series data）的场景，如保存日志数据或者事件数据等。不可变索引的存储方式是write one，append only。当在Phoenix使用create table语句时指定IMMUTABLE\_ROWS = true表示该表上创建的索引将被设置为不可变索引。Phoenix默认情况下如果在create table时不指定IMMUTABLE\_ROW = true时，表示该表为mutable。不可变索引分为Global immutable index和Local immutable index两种。

#### 3.2 可变索引 ####

mutable index，可变索引，适用于数据有增删改的场景。Phoenix默认情况创建的索引都是可变索引，除非在create table的时候显式地指定IMMUTABLE\_ROWS = true。可变索引同样分为Global immutable index和Local immutable index两种。

--------------------

### 4.配置HBase支持Phoenix二级索引 ###

如果要启用phoenix的二级索引功能，需要对HMaster以及每一个RegionServer上的hbase-site.xml进行额外的配置。首先，在每一个RegionServer的hbase-site.xml里加入如下属性：

<property> 
      <name>hbase.regionserver.wal.codec</name> 
      <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value> 
    </property>
    
    <property> 
      <name>hbase.region.server.rpc.scheduler.factory.class</name>
      <value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value> 
      <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description> 
    </property>
    
    <property>
      <name>hbase.rpc.controllerfactory.class</name>
      <value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value>
      <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description>
    </property>
    
    <property>
      <name>hbase.coprocessor.regionserver.classes</name>
      <value>org.apache.hadoop.hbase.regionserver.LocalIndexMerger</value> 
    </property>

如果没有在每个regionserver上的hbase-site.xml里面配置如上属性，那么使用create index语句创建二级索引将会抛出如下异常：

Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec in the hbase-sites.xml of every region server tableName=TEST_INDEXES (state=42Y88,code=1029)

然后在每一个master的hbase-site.xml里加入如下属性：

<property>
      <name>hbase.master.loadbalancer.class</name>                                     
      <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>
    </property>
    
    <property>
      <name>hbase.coprocessor.master.classes</name>
      <value>org.apache.phoenix.hbase.index.master.IndexMasterObserver</value>
    </property>

完成上述修改后重启hbase集群使配置生效。

--------------------

### 5. 使用Phoenix创建二级索引 ###

#### 5.1 全局索引的创建 ####

# 创建全局索引 Global Indexing
    create index TEST_SPLIT_IDX on "TEST"("id_number")
    
    # 查看查询语句是否走索引
    explain select "id_number" from "TEST" where "id_number" = '510121199007144049';
    
    # 采取INCLUDE(index cover，即索引覆盖)的方式
    create index TEST_SPLIT_IDX on "TEST"("id_number") INCLUDE("age")
    
    # 多列索引
    create index "TEST_SPLIT_IDX "on "TEST"("id_number","age")

**多列索引**

> 多列索引在满足前缀式的情况才会用到，如创建了A,B,C顺序的多列索引，当在where条件指定A条件、A B条件或者A B C条件均会走索引，但是 B C条件则无法走索引。  
>   
>   
> 注意：  
> 如果创建的二级索引列非常多，会占用大量的磁盘，引起数据的急速膨胀。因为二级索引相当于是又把数据换了一种存储格式，又存了一份。

**索引覆盖**

> 索引覆盖其实就是将INCLUDE里面包含的列都存储到索引表里面，当检索的时候就可以从索引表里直接带回这些列值。要特别注意索引列和索引覆盖列的区别，索引列在索引表里面是以rowkey的形式存在，多个索引列以某个约定的字节分割然后一起存储在rowkey里面，也就是说当索引列有很多个的时候，rowkey的长度也相应会变长，大小取决于索引列值的大小。而索引覆盖列，是存储在索引表的列族中  
>   
>

#### 5.2 局部索引的创建 ####

# 创建局部索引 Local Indexing
    create local index TEST_SPLIT_IDX on "TEST"("id_number")

**Local Indexing注意事项**

> 与Global Indexing不同的是，如果select子句里面带有除了索引列(USER\_NAME)以外的列，仍然可以走索引表。

--------------------

#### 参考：https://blog.csdn.net/d6619309/article/details/50358592 ####