HBase二级索引实践（带你感受二级索引的力量）

心已赠人 2022-05-19 06:12 689阅读 0赞

hyper\_table之前HBase SQL BulkLoad环节创建的，我们将数据通过BulkLoad方式导入预先分好Region的hyper\_table表中。具体参考如下博文：

> [HBase中利用SQL BulkLoad快速导入数据][HBase_SQL BulkLoad]

这里大家只要清楚此表结构即可，结构如下：

<table style="width:500px;">  hyper_table表结构  
 <tbody> 
  <tr> 
   <td>字段</td> 
   <td>rowkey</td> 
   <td>num</td> 
   <td>country</td> 
   <td>rd</td> 
  </tr> 
  <tr> 
   <td>类型</td> 
   <td>string</td> 
   <td>int</td> 
   <td>int</td> 
   <td>string</td> 
  </tr> 
 </tbody> 
</table>

#    创建二级索引（全局索引） #

我们有两种方式创建索引，一种是利用SQL通过Inceptor分布式SQL引擎与HBase交互，创建二级索引。另一种是直接在HBase shell中创建二级索引。两者创建时都需要指定索引的名字、索引所在表的名字、创建的索引列。

*  在Inceptor中利用SQL创建二级索引：

-- 创建二级索引（全局索引）
    create global index index_num on hyper_table(num);

*  在HBase shell中创建二级索引：

add_index 'hyper_table','index_num','COMBINE_INDEX|INDEXED=f:q2:8|rowKey:rowKey:9'

**创建好的索引在Hbase中会以表的形式存在**，表名为 "表名\_索引名" ，如下所示：

![70][]

# rebuild二级索引 #

rebuild命令为生成索引的命令，他会在上一步生成的索引表中插入索引数据，生成二级索引。进入到HBase Shell，重构索引。（注：Inceptor目前不支持SQL生成索引，仅支持创建二级索引）

![70 1][]

rebuild_global_index '{$yourDBName}:hyper_table', 'index_num';

可以看到，生成二级索引的过程 需要用到之前创建好的索引信息、表region信息。

![70 2][]

底层是通过mapreduce任务生成的。

![70 3][]

# 测试二级索引性能 #

### 1、精准查询性能： ###

不走索引：

select * from hyper_table where num=503;

![70 4][]

走索引：

select /*+USE_INDEX(e USING index_num)*/ * from hyper_table e where num =503;

![70 5][]

可以看到，num列走二级索引的情况下，精准查询的性能有明显提升。因为不走索引，HBase会从第一条记录开始遍历全表，而走索引，直接通过索引表查询到对应的num值即可。

### 2、范围查询性能：  ###

# 不走索引
    select * from hyper_table where NUM>520 LIMIT 10;

![70 6][]

# 走索引
    select /*+USE_INDEX(e USING index_num)*/ * from hyper_table e where num >520 LIMIT 10;

![70 7][]

**注意：后来测试发现，虽然精准查询走二级索引效率明显提升，但如果是范围查询，则走二级索引效率反而更低，经过分析发现，在重构基于num列的二级索引（全局索引）时，会将num进行升序排序，故走不走索引查询时间大致相同，而不走索引直接访问原表省去了查询索引表的时间，故在范围查询情况下，不走索引效率更高。**

# （补充1）何时会走索引？ #

Inceptor默认运行在Cluster Mode下，查询时不基于索引，因为对索引文件的访问可能会比较慢。在Cluster Mode下，只有明确声明（/\*+USE\_INDEX(e USING index\_num)\*/ \*），Inceptor才基于索引进行查询。

如果我们将Inceptor切换为Local Mode，Inceptor自动匹配合适的索引进行查询。切换方式如下：

# 切换Inceptor模式为Local Mode
    set ngmr.exec.mode=local;
    set hyperbase.integer.transform=true;

切换回Cluster模式如下：

# 将Inceptor切换为Cluster Mode
    set ngmr.exec.mode=cluster;

# （补充2）无法创建二级索引的解决办法： #

可能是因为名称冲突问题，解决方法删除原先二级索引，重新创建。

因为二级索引在HBase中也是以表的形式存在的，如之上的例子，hypet\_table的num列的索引存在hyper\_table\_index\_num表里，我们直接disable掉它，再drop掉，之后就能重新创建了（通过Inceptor中的SQL或者HBase shell皆可）。

# 下线二级索引表
    disable 'hyper_table_index_num'
    # 删除二级索引表
    drop 'hyper_table_index_num'

[HBase_SQL BulkLoad]: https://blog.csdn.net/whdxjbw/article/details/81145672
[70]: /images/20220519/c4318a4a02574a9dbd6c13520bd593e5.png
[70 1]: /images/20220519/6709812b505e4e8987c1ff5fd22ef54b.png
[70 2]: /images/20220519/62f6222834674f84b78a8fbef6df258c.png
[70 3]: /images/20220519/a2d168cc7af04a58ab0b0c38fcef4d9e.png
[70 4]: /images/20220519/cb410a4c4f3249ca9ba3993f24ce7be9.png
[70 5]: /images/20220519/d44a2526c165458ea327b819d1181c91.png
[70 6]: /images/20220519/f663636e9b72429189800367b91fdba5.png
[70 7]: /images/20220519/aa2b77baae724c02af428857e52d6ca6.png