ElasticSearch IK分词器

旧城等待， 2022-10-02 06:00 341阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

## **1. 测试分词器** ##

在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。 测试当前索引库使用的分词器：

post 发送：localhost:9200/_analyze
    {"text":"测试分词器，后边是测试内容：spring cloud实战"}

结果如下

![07a64b4670fd53b5a894d1f78555021848a.jpg][]

会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。学习过solr的同学应该知道IKAnalyzer。

## **2. 安装IK分词器** ##

使用IK分词器可以实现对中文分词的效果。  
下载IK分词器：（Github地址：[https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]）

下载zip：

![f63dd293b9c9aea1379cf6196abc72796d8.jpg][]

解压，并将解压的文件拷贝到ES安装目录的plugins下的ik目录下

![70917754e2e0f358ad390e839f81ad2b20c.jpg][]

测试分词效果：

发送：post localhost:9200/_analyze
    {"text":"测试分词器，后边是测试内容：spring cloud实战","analyzer":"ik_max_word" }

![ce60c7f6273c70107bfdf6cbbdb5bf690b6.jpg][]

## **3. 两种分词模式** ##

ik分词器有两种分词模式：ik\_max\_word和ik\_smart模式。

### **1、ik\_max\_word** ###

会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。

### **2、ik\_smart** ###

会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

测试两种分词模式：

发送：post localhost:9200/_analyze
    {"text":"中华人民共和国人民大会堂","analyzer":"ik_smart" }

### **4. 自定义词库** ###

如果要让分词器支持一些专有词语，可以自定义词库。  
iK分词器自带一个main.dic的文件，此文件为词库文件。

![2b8157d80ef0e1f43190dfedb8893a78996.jpg][]

在上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））可以在其中自定义词汇：

然后再main.dic配置文件中配置my.dic，

![e9d5e82ffb66d712faa93addc126c74fc37.jpg][]

重启ES

转载于:https://my.oschina.net/edisonOnCall/blog/3043217

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/b4a08c8e0c684dc89a647e8ce1ea7f9c.png
[07a64b4670fd53b5a894d1f78555021848a.jpg]: /images/20220113/f318047e9a554fba8e346700070db12a.png
[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[f63dd293b9c9aea1379cf6196abc72796d8.jpg]: /images/20220113/993717ec4dfe4c328a63a32275279683.png
[70917754e2e0f358ad390e839f81ad2b20c.jpg]: /images/20220113/ccdee1bb4b7d4d4c8bf680e42b5f23d1.png
[ce60c7f6273c70107bfdf6cbbdb5bf690b6.jpg]: /images/20220113/2567747801c44b28b7737afd94ba0402.png
[2b8157d80ef0e1f43190dfedb8893a78996.jpg]: /images/20220113/ac3d55d6f6aa436d80c958bdc54e3f2d.png
[e9d5e82ffb66d712faa93addc126c74fc37.jpg]: /images/20220113/45c4f1022f75488384665417920f075f.png