Elasticsearch7.9.2中文分词器-IK分词器使用

分手后的思念是犯贱 2022-12-22 09:59 188阅读 0赞

elasticsearch默认提供了standard分词器，但对中文的分词效果不尽人意：

![202010111057174.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][]

可以看出，把词语分成了一个个的汉字，这并不是我们想要的，接下来介绍下中文分词器-IK分词器的安装及使用。

# 1、IK分词器下载及安装 #

github: [https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]

各版本分词器下载： [https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases]

选择版本与elasticsearch一致的版本：7.9.2

![20201011124722364.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][]

下载后解压，将解压后的文件夹elasticsearch-analysis-ik-7.9.2 拷贝至 elasticsearch的plugins文件下：

![20201011125620799.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][]

然后重启elasticsearch，控制台有如下输出：

![20201011130034970.png][]

# 2、使用IK分词器测试分词 #

IK分词器有两种分词模式：ik\_smart 和 ik\_max\_word 模式。

## 1、ik\_smart ##

会做最粗粒度的拆分，比如会将“中华人民共和国”拆分为中华人民共和国。

使用Kibana开发工具，输入如下请求：

>     POST _analyze
>     {
>       "analyzer": "ik_smart",
>       "text":"中华人民共和国"
>     }

## ![20201011131249611.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][] ##

# #

## 2、ik\_max\_word ##

会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国等词语。

请求如下：

>     POST _analyze
>     {
>       "analyzer": "ik_max_word",
>       "text":"中华人民共和国"
>     }

![20201011133138566.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][]

# 3、扩展词典 #

在 elasticsearch-analysis-ik-7.9.2 文件夹 conf 目录下，找到 IKAnalyzer.cfg.xml 配置文件，

![20201011132624264.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70][]

文件内容如下：

>     <?xml version="1.0" encoding="UTF-8"?>
>     <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
>     <properties>
>         <comment>IK Analyzer 扩展配置</comment>
>         
>         <entry key="ext_dict">custom.dic</entry>
>          
>         <entry key="ext_stopwords"></entry>
>         
>         
>         
>         
>     </properties>

其中custom.dic为自定义的扩展字典，7.9.2版本的分词器插件中没有该文件，需要自己新建，

内容可以根据自己需要，自定义分词的文字。

保存后重启elasticsearch即可看到自己想要的分词效果。

### 热更新 IK 分词使用方法 ###

目前该插件支持热更新 IK 分词，通过上文在 IK 配置文件中提到的如下配置

>     
> <entry key="remote\_ext\_dict">location</entry>  
>    
> <entry key="remote\_ext\_stopwords">location</entry>

其中 `location` 是指一个 url，比如 `http://yoursite.com/getCustomDict`，该请求只需满足以下两点即可完成分词热更新。

> 1.  该 http 请求需要返回两个头部(header)，一个是 `Last-Modified`，一个是 `ETag`，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。
> 2.  该 http 请求返回的内容格式是一行一个分词，换行符用 `\n` 即可。

满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。

可以将需自动更新的热词放在一个 **UTF-8 编码**的 .txt 文件里，放在 nginx 或其他简易 http server 下，当 .txt 文件修改时，http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇，并更新这个 .txt 文件

[202010111057174.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/e1a203a6626f4c29ae797f2ddd9b1d0f.png
[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v5.6.3
[20201011124722364.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/55642af1f91042879fcafefa8afbcd05.png
[20201011125620799.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/ea825dacf6e34d2581ed41f2e9514172.png
[20201011130034970.png]: /images/20221120/fa79feb1188b416587f1a7eecbae78d8.png
[20201011131249611.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/0201761daf4b4ad3b6b0bf51f08b0fe0.png
[20201011133138566.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/42a1772b35d14c7689eec5fa53d42384.png
[20201011132624264.png_x-oss-process_image_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FuZ2VsbGVlMTk4OA_size_16_color_FFFFFF_t_70]: /images/20221120/a681eaae9a9d45b1944853b626b7da2b.png