【HBase + ElasticSearch最佳实践】

绝地灬酷狼 2022-02-25 10:54 605阅读 0赞

## 序言 ##

最近项目组要为客户提供一个基于HBase和ElasticSearch的大数据存储搜索解决方案，提供HBase + ElasticSearch的标准解决方案样例，包括数据写入以及查询。以下简称ES。

## 需求分析 ##

HBase的查询实现只提供两种方式：  
1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）  
2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）  
[用好HBase的第一步是要将rowkey设计好][HBase_rowkey]。大数据量查询最好从rowkey入手，ColumnValueFilter的速度是很慢的，HBase查询速度还是要依靠rowkey，所以根据业务逻辑把rowkey设计好，之后所有的查询都通过rowkey，是会非常快。 批量查询最好是用 scan的startkey endkey来做查询条件。  
HBase在0.92之后引入了coprocessors，提供了一系列的钩子，让我们能够轻易实现访问控制和二级索引的特性。  
当前平台内没有对HBase + ES的解决方案，需要给出一个能够指导用户使用HBase和ES组件的解决方案。  
目前可能的需求场景如下：

1.  批量索引：HBase上已有大量数据，需要在ES上建立索引；
2.  增量索引：HBase上已有大量数据，提供HBase的rowkey，实现对ES的增量索引；
3.  实时索引：HBase表持续进入数据，该表的数据要与ES的索引实时更新；

FI支持安全模式和普通模式，读取模式配置参数，安全模式则采用认证方式，普通模式则不需要认证。

## 方案前提 ##

已经成功安装FI的HBase和ES组件，安全模式或者普通模式均可，安全模式就比普通模式多了认证而已，其余功能保持一致。

## 解决方案 ##

HBase的工具HBase-SEP可以监测行变化事件  
方案1：  
如果是对写入数据性能要求高的业务场景，那么一份数据先写到HBase,然后再写到ES中，两个写入流程独立，这样可以达到性能最大，目前某公安厅使用该方案，每天需要写入数据200亿，6T数据，每个记录建20左右的索引。  
缺点：可能存在数据的不一致性。

方案2：  
这也是目前网上比较流行的方案，使用HBase的协处理监听数据在HBase中的变动，实时的更新ES中的索引，  
缺点：协处理器会影响HBase的性能

由于山不清楚添加协处理器具体思路是把RowKey作为索引文档的ID，并把要进行查询的Column索引到ES。  
用户输入Column值作为搜索条件，通过ES查询到该Column对应的RowKey值，再根据RowKey到HBase中查询完整的数据。

## 问题局限 ##

这个方案目前有哪些问题或者局限？

## 结语 ##

## Reference ##

[HBase建立二级索引的一些解决方案][HBase]  
[HBase数据同步到ElasticSearch的方案][HBase_ElasticSearch]  
[通过HBase Observer同步数据到ElasticSearch][HBase Observer_ElasticSearch]  
[使用Hbase协作器(Coprocessor)同步数据到ElasticSearch][Hbase_Coprocessor_ElasticSearch]  
[HBase 2.0 协处理器实现 ES 数据同步][HBase 2.0 _ ES]  
[HBase的工具HBase-SEP可以监测行变化事件][HBase_HBase-SEP]  
[ES+Hbase对接方案概述][ES_Hbase]  
[Elasticsearch对Hbase中的数据建索引实现海量数据快速查询][Elasticsearch_Hbase]  
[Elasticsearch+Hbase实现海量数据秒回查询][Elasticsearch_Hbase 1]  
[Hbase多列范围查找（效率）][HBase_rowkey]

[HBase_rowkey]: https://www.cnblogs.com/kxdblog/p/4328699.html
[HBase]: https://blog.csdn.net/scgaliguodong123_/article/details/46790381
[HBase_ElasticSearch]: https://blog.csdn.net/hengyunabc/article/details/41146115
[HBase Observer_ElasticSearch]: http://guoze.me/2015/04/23/hbase-observer-sync-elasticsearch/
[Hbase_Coprocessor_ElasticSearch]: https://blog.csdn.net/fxsdbt520/article/details/53884338
[HBase 2.0 _ ES]: https://blog.csdn.net/u012150370/article/details/86707595
[HBase_HBase-SEP]: https://github.com/NGDATA/hbase-indexer/blob/master/hbase-sep/README.md
[ES_Hbase]: https://www.cnblogs.com/gaoxing/p/5267512.html
[Elasticsearch_Hbase]: https://blog.csdn.net/m0_37739193/article/details/78029734
[Elasticsearch_Hbase 1]: https://blog.csdn.net/sdksdk0/article/details/53966430