ElasticSearch安装IK分词器并使用IK分词器和Kibana进行自定义词汇

女爷i 2023-09-29 12:58 17阅读 0赞

## 什么是IK分词器？ ##

分词:把一段中文或者别的划分成一个一个的关键字,我们在搜索的时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如"我爱魏一鹤"会被分成"我",“爱”,“魏”,“一”,“鹤”,这显然是不符合要求的,索引我们需要安装中文分词器IK来解决这个问题  
如果要使用中文,建议使用ik分词器  
IK提供了两个分词算法,ik\_smart和ik\_max\_world,其中ik\_smart为最少切分,ik\_max\_wold为最细颗粒度划分,一会都会分别来测试

## 下载IK分词器 ##

下载网址:https://github.com/medcl/elasticsearch-analysis-ik  
![在这里插入图片描述][0533742c6adb472ba205a4665d9293d9.png]  
下载到本地,放入es插件中即可,这里我在es的plugins目录下创建一个IK目录

![在这里插入图片描述][caeb462705d44320b0b29b4a1006a455.png]  
解压缩,目录如下  
![在这里插入图片描述][03e8f1f1e24543188f5c898652dc70d9.png]  
然后重启观察ES  
注意:没有使用ik分词器插件的时候黑窗口会提示no plugins loaded(没有插件加载)  
![在这里插入图片描述][c6fd01822ef84ee381a6e15798c5b230.png]  
我们也可以使用命令(elasticsearch-plugin list)查看es下的全部加载的插件  
![在这里插入图片描述][19343978fd01455d99c7a42ee14bb125.png]

elasticsearch-plugin list

![在这里插入图片描述][87528e15da19446f8a89d8204b4b4ae6.png]  
使用KIbana测试IK分词器

打开开发工具台  
![在这里插入图片描述][2dc84019ca5a4fed854fead570dd649a.png]

## ik\_smart 最少分词器 ##

分词结果比较少

GET _analyze
    {
        
      "analyzer": "ik_smart",
      "text": "中国共产党"
    }

![在这里插入图片描述][6f4b2724906644a8a8abf2a2fe110431.png]

## ik\_max\_word 颗粒度最细分词器 ##

分词结果比较多,组成各种结果,穷尽词库的可能！  
![在这里插入图片描述][9ce38031187f4754810e9b1c728a6c8d.png]  
再看个例子,把我们的句子换成 超级喜欢魏一鹤学习Java  
首先看最少分词  
![在这里插入图片描述][dffc2e96bb624d51a7ef778b06ee8d0c.png]  
然后是最细颗粒度分词  
![在这里插入图片描述][e057fe190a7148bea0803a8f6f6d922c.png]  
问题来了 我们输入超级喜欢魏一鹤学习Java,发现魏一鹤被拆开了,这种需要自己加入到分词器字典中的词如何处理呢?

## IK分词器自定义词汇 ##

找到并且打开IKAnalyzer.cfg分词器配置文件  
![在这里插入图片描述][e61f0cfec3d44eb6b9e2f1e7b798cc23.png]  
自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的，我们需要手动去创建字典  
![在这里插入图片描述][fc7410d26eae4abc9f74a8db6d3ce485.png]  
新增字典项内容并且保存  
![在这里插入图片描述][01ecf649c07e425a843c8475b6acff89.png]  
然后把我们自定义配置的字典加入到配置文件让字典生效  
![在这里插入图片描述][c25706ea84d749dcb3558a7c3ac4d4b1.png]  
配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic  
![在这里插入图片描述][382d5878274a42bc8355e7fe51ec5f43.png]  
重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割

不管是哪种分词,魏一鹤都没被分割！说明我们自定义字典配置成功！  
![在这里插入图片描述][69ac6cf9c40b48dfb16f6120c1339cf7.png]  
以后需要什么词汇,直接在我们的weiyihe.dic字典中去定义即可使用

[0533742c6adb472ba205a4665d9293d9.png]: https://img-blog.csdnimg.cn/0533742c6adb472ba205a4665d9293d9.png
[caeb462705d44320b0b29b4a1006a455.png]: https://img-blog.csdnimg.cn/caeb462705d44320b0b29b4a1006a455.png
[03e8f1f1e24543188f5c898652dc70d9.png]: https://img-blog.csdnimg.cn/03e8f1f1e24543188f5c898652dc70d9.png
[c6fd01822ef84ee381a6e15798c5b230.png]: https://img-blog.csdnimg.cn/c6fd01822ef84ee381a6e15798c5b230.png
[19343978fd01455d99c7a42ee14bb125.png]: https://img-blog.csdnimg.cn/19343978fd01455d99c7a42ee14bb125.png
[87528e15da19446f8a89d8204b4b4ae6.png]: https://img-blog.csdnimg.cn/87528e15da19446f8a89d8204b4b4ae6.png
[2dc84019ca5a4fed854fead570dd649a.png]: https://img-blog.csdnimg.cn/2dc84019ca5a4fed854fead570dd649a.png
[6f4b2724906644a8a8abf2a2fe110431.png]: https://img-blog.csdnimg.cn/6f4b2724906644a8a8abf2a2fe110431.png
[9ce38031187f4754810e9b1c728a6c8d.png]: https://img-blog.csdnimg.cn/9ce38031187f4754810e9b1c728a6c8d.png
[dffc2e96bb624d51a7ef778b06ee8d0c.png]: https://img-blog.csdnimg.cn/dffc2e96bb624d51a7ef778b06ee8d0c.png
[e057fe190a7148bea0803a8f6f6d922c.png]: https://img-blog.csdnimg.cn/e057fe190a7148bea0803a8f6f6d922c.png
[e61f0cfec3d44eb6b9e2f1e7b798cc23.png]: https://img-blog.csdnimg.cn/e61f0cfec3d44eb6b9e2f1e7b798cc23.png
[fc7410d26eae4abc9f74a8db6d3ce485.png]: https://img-blog.csdnimg.cn/fc7410d26eae4abc9f74a8db6d3ce485.png
[01ecf649c07e425a843c8475b6acff89.png]: https://img-blog.csdnimg.cn/01ecf649c07e425a843c8475b6acff89.png
[c25706ea84d749dcb3558a7c3ac4d4b1.png]: https://img-blog.csdnimg.cn/c25706ea84d749dcb3558a7c3ac4d4b1.png
[382d5878274a42bc8355e7fe51ec5f43.png]: https://img-blog.csdnimg.cn/382d5878274a42bc8355e7fe51ec5f43.png
[69ac6cf9c40b48dfb16f6120c1339cf7.png]: https://img-blog.csdnimg.cn/69ac6cf9c40b48dfb16f6120c1339cf7.png