Hbase+Solr操作手册

素颜马尾好姑娘i 2021-12-05 03:32 423阅读 0赞

**Hbase\+Solr操作手册**

1、对于初次建立得表，可以使用

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">create 'table',{NAME =&gt;'f1', REPLICATION_SCOPE =&gt;1}</p> </td> 
  </tr> 
 </tbody> 
</table>

注：其中1表示开启replication功能，0表示不开启，默认为0

对于已经存在得表，可以

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">disable 'hcc_score'</p> <p style="margin-left:0pt;">alter 'hcc_score',{NAME =&gt;'f1', REPLICATION_SCOPE =&gt;1}</p> <p style="margin-left:0pt;">enable 'hcc_score'</p> </td> 
  </tr> 
 </tbody> 
</table>

2、生成实体配置文件：

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">solrctl instancedir --generate $HOME/hbase-indexer/hcc_score</p> </td> 
  </tr> 
 </tbody> 
</table>

3、配置conf/schema.xml

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">&lt;dynamicField name="*_i" &nbsp;type="string" &nbsp;&nbsp;&nbsp;indexed="true" &nbsp;stored="true" multiValued="true" /&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

动态域，就是这个域的名称，是由表达式组成的，只要名称满足了这个 表达式，就可以用这个域name:域的名称，该域的名称是通过一个表达式来指定的，只要符合这这个规则，就可以使用这个域。比如  aa\_i,bb\_i,13\_i等等，只要满足这个表达式皆可

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">&lt;field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

name:域名

type:域的类型，必须匹配类型，不然会报错

indexed:是否要作索引

stored:是否要存储实际数据

required:是否必填，一般只有id即rowkey才会设置

multiValued:是否有多个值，如果设置为多值，里面的值就采用数组的方式来存储，比如商品图片地址(大图，中图，小图等)

目前用到的特殊类型如下：

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">1、支持前缀过滤的类型type=“text_prefix_rev”：例如存储名字、手机号之类的字段，需要支持“*6553”、“*大军”这种前缀过滤的查询。</p> <p style="margin-left:0pt;">2、支持时间的类型type=”tdate”：存储时间类型，支持时间段过滤和排序</p> <p style="margin-left:0pt;">3、支持分词查询的类型type=”text_ch”：存储支持分词查询的字段，例如地址。</p> </td> 
  </tr> 
 </tbody> 
</table>

如下为最基础的配置，生产环境用的配置在apiserver01节点，/home/dsj\_solr/hbase-indexer目录中。

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">&lt;?xml version="1.0" encoding="UTF-8" ?&gt;</p> <p style="margin-left:0pt;">&lt;schema name="hcc_score" version="1.5"&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;field name="_version_" type="long" indexed="true" stored="true"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;field name="text" type="text_general" indexed="true" stored="false" multiValued="true"/&gt; &nbsp;&nbsp;</p> <p style="margin-left:0pt;">&lt;field name="hsicrm_mobilenumber" type="string" indexed="true" stored="false" required="false" multiValued="false"/&gt;</p> <p style="margin-left:0pt;">&lt;field name="hsicrm_serialnumber" type="string" indexed="true" stored="false" required="false" multiValued="false"/&gt;</p> <p style="margin-left:0pt;">&lt;field name="hsicrm_consumerno" type="string" indexed="true" stored="false" required="false" multiValued="false"/&gt;</p> <p style="margin-left:0pt;">&lt;field name="hsicrm_workorderid" type="string" indexed="true" stored="false" required="false" multiValued="false"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;uniqueKey&gt;id&lt;/uniqueKey&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;fieldType name="string" class="solr.StrField" sortMissingLast="true" /&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;fieldType name="text_general" class="solr.TextField" positionIncrementGap="100"&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;analyzer type="index"&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;tokenizer class="solr.StandardTokenizerFactory"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;filter class="solr.LowerCaseFilterFactory"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/analyzer&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;analyzer type="query"&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;tokenizer class="solr.StandardTokenizerFactory"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;filter class="solr.LowerCaseFilterFactory"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/analyzer&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;/fieldType&gt;</p> <p style="margin-left:0pt;">&lt;/schema&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

4、再修改solrconfig.xml文件，根据实际应用情况更改软硬提交。

软提交关于实时可见性；硬提交关于持久化。

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;autoCommit&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;maxTime&gt;${solr.autoCommit.maxTime:60000}&lt;/maxTime&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;openSearcher&gt;false&lt;/openSearcher&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/autoCommit&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;autoSoftCommit&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;maxTime&gt;${solr.autoSoftCommit.maxTime:15000}&lt;/maxTime&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;/autoSoftCommit&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

5、创建 collection实例并将配置文件上传到 zookeeper：

solrctl --zk zkip01,zkip02,zkip03:2181/solr  instancedir --create hcc\_score $HOME/hbase-indexer/hcc\_score

6、上传到 zookeeper 之后，其他节点就可以从zookeeper下载配置文件。接下来创建 collection；如果希望将数据分散到各个节点进行存储和检索，则需要创建多个shard，需要使用如下命令：

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">solrctl --zk zkip01,zkip02,zkip03:2181/solr collection --create hcc_score -s 11 -r 3 -m 10</p> </td> 
  </tr> 
 </tbody> 
</table>

注：其中-s表示设置Shard数为11，-r表示设置的replica数为3,-m表示单个节点最大shards数目10。Shard数最好与节点数量成倍数，replica为副本数量与并发量成正比，单节点最大shard数目与节点数的乘积要大于shard与replica的乘积。例如我们的集群：10\*11=110;11\*3=33;110>33；符合规定，而且有扩展性。

7、创建一个morphline-hbase-mapper.xml文件,该文件是Lily kv store与hbase表的映射关系，用来自动维护索引数据，当hbase表有更新时，lily会通过分析WAL日志将更新维护到solr的collection中。

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">&lt;?xml version="1.0"?&gt;</p> <p style="margin-left:0pt;">&lt;!-- table：需要索引的HBase表名称--&gt;</p> <p style="margin-left:0pt;">&lt;!-- mapper：用来实现和读取指定的Morphline配置文件类，固定为MorphlineResultToSolrMapper--&gt;</p> <p style="margin-left:0pt;">&lt;indexer table="hcc_score" mapper="com.ngdata.hbaseindexer.morphline.MorphlineResultToSolrMapper"&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--param中的name参数用来指定当前配置为morphlineFile文件 --&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;!--value用来指定morphlines.conf文件的路径，绝对或者相对路径用来指定本地路径，如果是使用Cloudera Manager来管理morphlines.conf就直接写入值morphlines.conf"--&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;param name="morphlineFile" value="morphlines.conf"/&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;!-- The optional morphlineId identifies a morphline if there are multiple morphlines in morphlines.conf --&gt;</p> <p style="margin-left:0pt;">&nbsp;&nbsp;&nbsp;&nbsp;&lt;param name="morphlineId" value="hcc_score"/&gt;</p> <p style="margin-left:0pt;">&lt;/indexer&gt;</p> </td> 
  </tr> 
 </tbody> 
</table>

8、维护CM界面中kv store设置中的morphlines.conf，该文件为solr中的索引字段与hbase的字段的映射关系。

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">SOLR_LOCATOR : { </p> <p style="margin-left:0pt;">&nbsp;&nbsp;# ZooKeeper ensemble</p> <p style="margin-left:0pt;">&nbsp;&nbsp;zkHost : "$ZK_HOST"</p> <p style="margin-left:0pt;">}</p> <p style="margin-left:0pt;">morphlines : [</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">id : test_workorder</p> <p style="margin-left:0pt;">importCommands :["org.kitesdk.**","com.ngdata.**"]</p> <p style="margin-left:0pt;">commands :[</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">extractHBaseCells { </p> <p style="margin-left:0pt;">mappings :[</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">inputColumn :"f1:hsicrm_mobilenumber"</p> <p style="margin-left:0pt;">outputField :"hsicrm_mobilenumber"</p> <p style="margin-left:0pt;">type :string</p> <p style="margin-left:0pt;">source : value</p> <p style="margin-left:0pt;">},</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">inputColumn : "f1:hsicrm_serialnumber"</p> <p style="margin-left:0pt;">outputField : "hsicrm_serialnumber"</p> <p style="margin-left:0pt;">type : string</p> <p style="margin-left:0pt;">source : value</p> <p style="margin-left:0pt;">},</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">inputColumn : "f1:hsicrm_consumerno"</p> <p style="margin-left:0pt;">outputField : "hsicrm_consumerno"</p> <p style="margin-left:0pt;">type : string</p> <p style="margin-left:0pt;">source : value</p> <p style="margin-left:0pt;">},</p> <p style="margin-left:0pt;">{ </p> <p style="margin-left:0pt;">inputColumn : "f1:hsicrm_workorderid"</p> <p style="margin-left:0pt;">outputField : "hsicrm_workorderid"</p> <p style="margin-left:0pt;">type : string</p> <p style="margin-left:0pt;">source : value</p> <p style="margin-left:0pt;">}</p> <p style="margin-left:0pt;">]</p> <p style="margin-left:0pt;">}</p> <p style="margin-left:0pt;">}</p> <p style="margin-left:0pt;">{ logDebug { format :"output record: {}", args :["@{}"]}}</p> <p style="margin-left:0pt;">]</p> <p style="margin-left:0pt;">}</p> <p style="margin-left:0pt;">]</p> </td> 
  </tr> 
 </tbody> 
</table>

9、注册到 Lily HBase Indexer Service，即注册索引器，上传 Lily HBase Indexer 配置 XML文件至 ZooKeeper，由给定的 SolrCloud 集合完成此操作。

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">hbase-indexer add-indexer \</p> <p style="margin-left:0pt;">--name hcc_score \</p> <p style="margin-left:0pt;">--indexer-conf $HOME/hbase-indexer/hcc_score/morphline-hbase-mapper.xml \</p> <p style="margin-left:0pt;">--connection-param solr.zk= zkip01,zkip02,zkip03:2181/solr \</p> <p style="margin-left:0pt;">--connection-param solr.collection=hcc_score \</p> <p style="margin-left:0pt;">--zookeeper zkip01:2181,zkip02:2181,zkip03:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

10、查看索引器是否创建成功：

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">hbase-indexer list-indexers --zookeeper zkip01:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

11、同步过去的数据建立索引，若增加了索引字段，需要先reload collection再做同步

将Lily kv store的morphlines.conf配置文件复制到索引配置目录下。

执行下面的命令

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">hadoop --config /etc/hadoop/conf \</p> <p style="margin-left:0pt;">jar /opt/cloudera/parcels/CDH/lib/hbase-solr/tools/hbase-indexer-mr-job.jar \</p> <p style="margin-left:0pt;">--conf /etc/hbase/conf/hbase-site.xml \</p> <p style="margin-left:0pt;">--hbase-indexer-file $HOME/hbase-indexer/hcc_score/morphline-hbase-mapper.xml \</p> <p style="margin-left:0pt;">--morphline-file morphlines.conf \</p> <p style="margin-left:0pt;">--zk-host zkip01:2181/solr \</p> <p style="margin-left:0pt;">--collection hcc_score \</p> <p style="margin-left:0pt;">--reducers 0 \</p> <p style="margin-left:0pt;">--go-live</p> </td> 
  </tr> 
 </tbody> 
</table>

验证实时可见性，在hbase中新增、更新、删除数据，在solr中15秒内可见，因为softCommit配置的为15000ms。

12、增加

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">put 'hcc_score_cf_name','0012','cf:name','bob'</p> </td> 
  </tr> 
 </tbody> 
</table>

13、更新

14、删除

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">deleteall 'hcc_score_cf_name','0012'</p> </td> 
  </tr> 
 </tbody> 
</table>

15、扩展命令

\#solrctl

1、列出配置目录列表

2、列出collection列表

3、更新coolection配置

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">solrctl --zk zkip01,zkip02,zkip03:2181/solr instancedir --update newDir $HOME/hbase-indexer/newDir</p> <p style="margin-left:0pt;">solrctl --zk zkip01,zkip02,zkip03:2181/solr collection --reload name</p> </td> 
  </tr> 
 </tbody> 
</table>

4、删除instancedir

5、删除collection

6、删除collection所有doc

7、删除User配置目录

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">rm -rfv $HOME/hbase-indexer/User</p> </td> 
  </tr> 
 </tbody> 
</table>

8、若修改了morphline-hbase-mapper.xml，则需要更新索引器

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">hbase-indexer update-indexer -n hcc_score --zookeeper zkip01:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

9、删除索引

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">hbase-indexer delete-indexer -n hcc_score --zookeeper zkip01:2181</p> </td> 
  </tr> 
 </tbody> 
</table>

10、打印同步历史索引数据时的详细日志

创建log4j.properties，内容如下

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;"># cat log4j.properties</p> <p style="margin-left:0pt;">log4j.rootLogger=${root.logger}</p> <p style="margin-left:0pt;">root.logger=INFO,console</p> <p style="margin-left:0pt;">log4j.appender.console=org.apache.log4j.ConsoleAppender</p> <p style="margin-left:0pt;">log4j.appender.console.target=System.err</p> <p style="margin-left:0pt;">log4j.appender.console.layout=org.apache.log4j.PatternLayout</p> <p style="margin-left:0pt;">log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n log4j.logger.org.kitesdk.morphline=TRACE</p> <p style="margin-left:0pt;">log4j.logger.com.ngdata=TRACE</p> </td> 
  </tr> 
 </tbody> 
</table>

然后在命令行追加入 --log4j 指定到所在log4j.properties，然后再跑MR Job, 并把控制台输出备份到文件，命令如下：

11、收集application log

<table style="width:414.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:414.8pt;"> <p style="margin-left:0pt;">yarn logs -applicationId application_id -appOwner user_name &gt; application_id</p> </td> 
  </tr> 
 </tbody> 
</table>