Elasticsearch6.2 研究--IK分词器

布满荆棘的人生 2022-04-04 15:40 260阅读 0赞

### 目录 ###

*  4 IK分词器
 *   *  4.1测试分词器
     *  4.2 安装IK分词器
     *  4.3 两种分词模式
     *  4.4 自定义词库

# 4 IK分词器 #

## 4.1测试分词器 ##

在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。

测试当前索引库使用的分词器：

post 发送：localhost:9200/\_analyze

\{“text”:“测试分词器，后边是测试内容：spring cloud实战”\}

结果如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]  
会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。

## 4.2 安装IK分词器 ##

使用IK分词器可以实现对中文分词的效果。

下载IK分词器：（Github地址：[https://github.com/medcl/Elasticsearch-analysis-ik][https_github.com_medcl_Elasticsearch-analysis-ik]）

下载zip：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]

解压，并将解压的文件拷贝到ES安装目录的plugins下的ik目录下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 2]

测试分词效果：

发送：post localhost:9200/\_analyze

\{“text”:“测试分词器，后边是测试内容：spring cloud实战”,“analyzer”:“ik\_max\_word” \}

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 3]

## 4.3 两种分词模式 ##

ik分词器有两种分词模式：ik\_max\_word和ik\_smart模式。

1、ik\_max\_word

会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。

2、ik\_smart

会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

测试两种分词模式：

发送：post localhost:9200/\_analyze

\{“text”:“中华人民共和国人民大会堂”,“analyzer”:“ik\_smart” \}

关于两种分词模式的区别请参考阅读：[https://blog.csdn.net/weixin\_44062339/article/details/85006948][https_blog.csdn.net_weixin_44062339_article_details_85006948]

## 4.4 自定义词库 ##

如果要让分词器支持一些专有词语，可以自定义词库。

iK分词器自带一个main.dic的文件，此文件为词库文件。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 4]

在上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））

可以在其中自定义词汇：

比如定义：

配置文件中配置my.dic，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 5]

重启ES，测试分词效果：

发送：post localhost:9200/\_analyze

\{“text”:“测试分词器，后边是测试内容：spring cloud实战”,“analyzer”:“ik\_max\_word” \}

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]: /images/20220404/abb09503fc974cafb1ab4cb347f4c6ca.png
[https_github.com_medcl_Elasticsearch-analysis-ik]: https://github.com/medcl/Elasticsearch-analysis-ik
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]: /images/20220404/56f97e5968ff4f6397b02265031e4c2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 2]: /images/20220404/4fac519108a34e51a7dc667ecda85fe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 3]: /images/20220404/51ecdb532f2e4a4dbcb6c89e3b78d36d.png
[https_blog.csdn.net_weixin_44062339_article_details_85006948]: https://blog.csdn.net/weixin_44062339/article/details/85006948
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 4]: /images/20220404/b28cf33ecdbe4bfc9ecc7dfd0063af31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 5]: /images/20220404/ba07267f4c0549bab41b1cfd0cac23b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 6]: /images/20220404/a1207c92380647d0a651377c928a37af.png