Elasticsearch的内置分词器和IK分词器的安装和使用

不念不忘少年蓝@ 2022-12-21 04:51 155阅读 0赞

### Elasticsearch的内置分词器和IK分词器的安装和使用 ###

什么是分词？

> 把文本转换为一个个的单词，分词称之为analysis。es默认只对英文语句做分词，中文不支持，每个中文字都会被拆分为独立的个体。

##### 一、Elasticsearch的内置分词器 #####

> POST 192.168.1.117:9200/\_analyze

{
    	"analyzer": "whitespace",
    	"text": "Hi LiMei How are you, I am fine, and you"
    }

es内置分词器

> standard：默认分词，单词会被拆分，大小会转换为小写。  
> simple：按照非字母分词。大写转为小写。  
> whitespace：按照空格分词。忽略大小写。  
> stop：去除无意义单词，比如 the / a / an / is …  
> keyword：不做分词。把整个文本作为一个单独的关键词。

##### 二、IK分词器 #####

[IK分词器下载地址][IK]

如果虚拟机上没有安装elasticsearch可以参照这篇博客：[传送门][Link 1]

[IK文档地址][IK 1]

1.将IK分词器上传到虚拟机上  
![在这里插入图片描述][20201114213408215.PNG_pic_center]2.将IK分词器解压到指定位置

> unzip elasticsearch-analysis-ik-7.4.2.zip -d /usr/local/elasticsearch-7.4.2/plugins/ik

3.之后就是重启elasticsearch就可以正常使用IK分词器了

4.在下面的请求中使用IK分词器

> POST 192.168.1.117:9200/\_analyze

{ 
    	"analyzer": "ik_max_word",
    	"text": "上下班的时候人很多"
    }

> ik\_max\_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；

> ik\_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

5.但是使用IK分词器也会有一个小问题，例如：骚年，将吃补过等一些网络用语或者特有名词也会将其进行分词，这里我们就要通过自定义词库，进行解决

6.修改IKAnalyzer.cfg.xml中的内容

> vi IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">custom.dic</entry>
             
            <entry key="ext_stopwords"></entry>
            
            
            
            
    </properties>

7.在统计目录下创建custom.dic文件，在文档中输入这边需要的词汇，之后就对应的词汇就不会进行分词了

> vi custom.dic

骚年
    将吃补过

8.重启elasticsearch，再次进行分词就会发现,"骚年"和"将吃补过"已经单独分为一个词汇了

> POST 192.168.1.117:9200/\_analyze

{
    	"analyzer": "ik_max_word",
    	"text": "出现错误的时候少年将吃补过"
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTQ0NTg3OQ_size_16_color_FFFFFF_t_70_pic_center]

[IK]: https://download.csdn.net/download/weixin_45445879/13113660
[Link 1]: https://editor.csdn.net/md/?articleId=109563921
[IK 1]: https://github.com/medcl/elasticsearch-analysis-ik
[20201114213408215.PNG_pic_center]: /images/20221120/58cab08c554b44629d317ff4791823a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTQ0NTg3OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/c8558172549f45b2b89253f65ebae2a9.png