ElasticSearch-使用IK分词器进行分词

小灰灰 2023-10-12 20:30 18阅读 0赞

### 使用KIbana测试IK分词器 ###

打开开发工具台

![ae870857b78d687b566fc2a4ead999a5.png][]

#### ik\_smart 最少分词器 ####

分词结果比较少

GET _analyze
    
    {
    
      "analyzer": "ik_smart",
    
      "text": "中国共产党"
    
    }

![5e448d6d0f40b998d8b71cc88892aa45.png][]

#### ik\_max\_word 颗粒度最细分词器 ####

分词结果比较多,组成各种结果,穷尽词库的可能！

GET _analyze
    
    {
    
      "analyzer": "ik_max_word",
    
      "text": "中国共产党"
    
    }

![8b290ffaad3067b13ba4d80c127366c1.png][]

再看个例子,把我们的句子换成 超级喜欢魏一鹤学习Java

首先看最少分词

![9b91f611def0da66173abb666ef22961.png][]

然后是最细颗粒度分词

![4e7e772599e0cf385b53992661329e86.png][]

问题来了 我们输入超级喜欢魏一鹤学习Java,发现魏一鹤被拆开了,这种需要自己加入到分词器字典中的词如何处理呢?

### IK分词器自定义词汇 ###

找到并且打开IKAnalyzer.cfg分词器配置文件

![baad5b787eb5d6e21abe8e13ebddc914.png][]

自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的，我们需要手动去创建字典

![4f6f4e76d7476f16d6e3ef864c0c5c3f.png][]

新增字典项内容并且保存

![bef4f8e9fd91bc8114e9ca8bc40d32ef.png][]

然后把我们自定义配置的字典加入到配置文件让字典生效

![a6c6b49e31e132776b7555a4c40b1523.png][]

配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic

![13f832c5cc1ebd4cd1cea67d4fab31fd.png][]

重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割

不管是哪种分词,魏一鹤都没被分割！说明我们自定义字典配置成功！

![ad53136b738e8b3beeb4c72d846ab747.png][]

以后需要什么词汇,直接在我们的weiyihe.dic字典中去定义即可使用

[ae870857b78d687b566fc2a4ead999a5.png]: https://img-blog.csdnimg.cn/img_convert/ae870857b78d687b566fc2a4ead999a5.png
[5e448d6d0f40b998d8b71cc88892aa45.png]: https://img-blog.csdnimg.cn/img_convert/5e448d6d0f40b998d8b71cc88892aa45.png
[8b290ffaad3067b13ba4d80c127366c1.png]: https://img-blog.csdnimg.cn/img_convert/8b290ffaad3067b13ba4d80c127366c1.png
[9b91f611def0da66173abb666ef22961.png]: https://img-blog.csdnimg.cn/img_convert/9b91f611def0da66173abb666ef22961.png
[4e7e772599e0cf385b53992661329e86.png]: https://img-blog.csdnimg.cn/img_convert/4e7e772599e0cf385b53992661329e86.png
[baad5b787eb5d6e21abe8e13ebddc914.png]: https://img-blog.csdnimg.cn/img_convert/baad5b787eb5d6e21abe8e13ebddc914.png
[4f6f4e76d7476f16d6e3ef864c0c5c3f.png]: https://img-blog.csdnimg.cn/img_convert/4f6f4e76d7476f16d6e3ef864c0c5c3f.png
[bef4f8e9fd91bc8114e9ca8bc40d32ef.png]: https://img-blog.csdnimg.cn/img_convert/bef4f8e9fd91bc8114e9ca8bc40d32ef.png
[a6c6b49e31e132776b7555a4c40b1523.png]: https://img-blog.csdnimg.cn/img_convert/a6c6b49e31e132776b7555a4c40b1523.png
[13f832c5cc1ebd4cd1cea67d4fab31fd.png]: https://img-blog.csdnimg.cn/img_convert/13f832c5cc1ebd4cd1cea67d4fab31fd.png
[ad53136b738e8b3beeb4c72d846ab747.png]: https://img-blog.csdnimg.cn/img_convert/ad53136b738e8b3beeb4c72d846ab747.png