Solr配置IK中文分词器和自定义分词停词

分手后的思念是犯贱 2023-01-13 01:35 96阅读 0赞

**[ik中文分词器下载][ik]**

第一步：把`IK-Analyzer-7.2.1.jar`添加到`apache-tomcat-9.0.43\webapps\solr\WEB-INF\lib`目录下。

第二步：复制`IKAnalyzer`的配置文件`IKAnalyzer.cfg.xml`和自定义词典`ext.dic`和停用词词典`stopword.dic`到`apache-tomcat-9.0.43\webapps\solr\WEB-INF\classes`下。这一步是用来配置自定义分词和自定义停词的，一些专有名词，我们希望它能够作为独立的词条，这叫做扩展词；一些助词，谓词我们不希望它被作为词条，这叫停词。停词就是不作为搜索条件，扩展词可以搜索  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA4NTc5Nw_size_16_color_FFFFFF_t_70]在IKAnalyzer.cfg.xml配置文件里面配置如下信息：

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
    <properties>  
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">ext.dic;</entry> 
    	
    	
    	<entry key="ext_stopwords">stopword.dic;</entry> 
    	
    </properties>

**示例：**  
`stopword.dic`扩展词文件中加入“而且”词条**之前**：  
ik分词器将“善良而且坚强”分词为 “善良”，“而且”，“坚强”三个词条，  
加入**之后**：  
ik分词器将“佳都科技”分词为 “善良”，“坚强”两个词条，

`ext.dic`扩展词文件中加入“牛二瓦”词条**之前**，  
ik分词器将“牛二瓦”分词为 “牛”，“二”，“瓦”三个词条，  
加入**之后**，  
ik分词器将“牛二瓦”分词为 “牛二瓦”，“二”，“瓦”三个词条（如果不想，二和瓦这两个字，就将这两个字加入到stopword.dic中），

第三步：配置`Core`的`managed-schema`文件，目录`solorhome\collection1\conf`

<fieldType name="text_ik" class="solr.TextField">
        <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
    	</fieldType>
    
    	<field name="content_ik" type="text_ik" indexed="true" stored="false"/>

保存，重启`tomcat`就可以使用`IK`分词器了

在`solr`管理页面选择核然后选择`analysis`就可以查看分词效果了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA4NTc5Nw_size_16_color_FFFFFF_t_70 1]

[ik]: https://download.csdn.net/download/weixin_43085797/15133213
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA4NTc5Nw_size_16_color_FFFFFF_t_70]: /images/20221022/d512d26378a7447d9955516558967c3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA4NTc5Nw_size_16_color_FFFFFF_t_70 1]: /images/20221022/315ebd17fc214784811392b2914f5e1e.png