Solr（四）Solr7.X中文分词器使用，IKAnalyzer使用及配置

绝地灬酷狼 2022-04-12 03:14 518阅读 0赞

> 阅读原文[Solr（四）Solr7.X中文分词器使用，IKAnalyzer使用及配置][Solr_Solr7.X_IKAnalyzer]

# 环境要求 #

*  Solr7.3
 *  IKAnalyzer（ik原作者的项目2012年就已经停止更新，推荐使用 [ik-analyzer-solr7][]）

# 前提 #

一个已经搭建好的Solr服务器，可参考：[Solr（一）基于tomcat的solr环境搭建][Solr_tomcat_solr]  
适配Solr7.3的中文分词器，这里推荐 github 的 [magese/ik-analyzer-solr7][ik-analyzer-solr7]，直接把项目下载下来解压即可。

# 认识schema #

在Solr中配置分词器需要在schema配置文件中进行配置，在低版本的solr中schema是schema.xml，而solr7.3中则是名为 managed-schema 不带后缀的文件，schema.xml和managed-schema的配置其实大同小异，下面就以schema.xml为例讲解一下其中的各个配置的作用。（来源[Solr索引库l配置文件schema.xm要点翻译][Solr_l_schema.xm]）

schema.xml是Solr一个配置文件，它包含了你的文档所有的字段，以及当文档被加入索引或查询字段时，这些字段是如何被处理的。

<?xml version="1.0" encoding="UTF-8" ?>
      略...
    
    
    <schema name="example" version="1.5">
      略...
    
     <fields>
       
    
       
            
       <field name="id" type="string" indexed="true" stored="true" 
               required="true" multiValued="false" /> 
    
       <field name="title" type="text_general" indexed="true" 
               stored="true" multiValued="true"/>
       <field name="description" type="text_general" indexed="true" stored="true"/>
       <field name="author" type="text_general" indexed="true" stored="true"/>
       <field name="keywords" type="text_general" indexed="true" stored="true"/>
       <field name="category" type="text_general" indexed="true" stored="true"/>
       <field name="url" type="text_general" indexed="true" stored="true"/>
       <field name="last_modified" type="date" indexed="true" stored="true"/>
       
       <field name="content" type="text_general" indexed="false" 
               stored="true" multiValued="true"/>
       
       
       <field name="text" type="text_general" indexed="true" 
               stored="false" multiValued="true"/>
    
       
       <field name="_version_" type="long" indexed="true" stored="true"/>
       
     </fields>
    
    
     
     <uniqueKey>id</uniqueKey>
    
      
       <copyField source="title" dest="text"/>
       <copyField source="author" dest="text"/>
       <copyField source="description" dest="text"/>
       <copyField source="keywords" dest="text"/>
       <copyField source="content" dest="text"/>
       <copyField source="url" dest="text"/>
       
     
       <dynamicField name="*_i"  type="pint"    indexed="true"  stored="true"/>
       <dynamicField name="*_is" type="pint"    indexed="true"  stored="true"  multiValued="true"/>
       <dynamicField name="*_s"  type="string"  indexed="true"  stored="true" />
       <dynamicField name="*_s_ns"  type="string"  indexed="true"  stored="false" />
       <dynamicField name="*_ss" type="string"  indexed="true"  stored="true" multiValued="true"/>
       <dynamicField name="*_l"  type="plong"   indexed="true"  stored="true"/>
     
      <types>
        
        <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
        <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/>
        <fieldType name="int" class="solr.TrieIntField" precisionStep="0" 
            positionIncrementGap="0"/>
        <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" 
            positionIncrementGap="0"/>
        <fieldType name="long" class="solr.TrieLongField" precisionStep="0" 
            positionIncrementGap="0"/>
        <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" 
            positionIncrementGap="0"/>
        <fieldType name="date" class="solr.TrieDateField" precisionStep="0" 
            positionIncrementGap="0"/>
    
    
          略...
        
        <fieldType name="text_th" class="solr.TextField" positionIncrementGap="100">
          <analyzer> 
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.LowerCaseFilterFactory"/>
            <filter class="solr.ThaiWordFilterFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" 
                words="lang/stopwords_th.txt" />
          </analyzer>
        </fieldType>
        
        
        <fieldType name="text_tr" class="solr.TextField" positionIncrementGap="100">
          <analyzer> 
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.TurkishLowerCaseFilterFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="false" 
                words="lang/stopwords_tr.txt" />
            <filter class="solr.SnowballPorterFilterFactory" language="Turkish"/>
          </analyzer>
        </fieldType>
        
        
     </types>
      
      
      
    
    </schema>

总结起来就几个要点

<uniqueKey>id</uniqueKey>：指定某个字段是唯一的字段 。
    
    <fieldType ></fieldType>：定义字段类型。
    
    <field  name=" " type=" "/>：定义字段。
    
    <dynamicField name=" " type=" " indexed="true" stored="true"/>：定义动态字段。
    
    <copyField source=" " dest=" " />：复制字段。

# 构建中文分词器 #

理解schema的配置后就开始构建自己的分词器吧

## 步骤 ##

参考[IKAnalyzer使用说明][ik-analyzer-solr7]

### 一、下载并解压IKAnalyzer ###

使用上面的下载地址下载IK，并解压，将IK目录下src/main/resources中的5个文件拷贝到Solr的WEB-INF/classes/目录下

① IKAnalyzer.cfg.xml
    ② ext.dic
    ③ stopword.dic
    ④ ik.conf
    ⑤ dynamicdic.txt

[下载IK jar包][IK jar]，将jar拷贝到Solr的WEB-INF/lib目录下

### 二、配置IK中文分词器 ###

schema中加入IK分词器配置

<fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

### 启动、测试 ###

启动Solr访问页面，选择用我们自己配置的text\_ik分词器：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70]

输入文本进行测试  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 1]

## 到此中文分词器配置完成 ##

[Solr_Solr7.X_IKAnalyzer]: https://oumuv.github.io/2018/12/01/solr-4/
[ik-analyzer-solr7]: https://github.com/magese/ik-analyzer-solr7
[Solr_tomcat_solr]: https://blog.csdn.net/oumuv/article/details/81368144
[Solr_l_schema.xm]: https://my.oschina.net/HuifengWang/blog/307471
[IK jar]: https://search.maven.org/remotecontent?filepath=com/github/magese/ik-analyzer/7.5.0/ik-analyzer-7.5.0.jar
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70]: /images/20220412/86ea3a3d3f9449a5aacbfca8cc428ebb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 1]: /images/20220412/bc42131a68c643379db4d3a3355cfe46.png