【elasticsearch系列】windows安装IK分词器插件

深藏阁楼爱情的钟 2022-09-10 08:25 327阅读 0赞

# 环境 #

github下载：[https://github.com/medcl/elasticsearch-analysis-ik/releases][https_github.com_medcl_elasticsearch-analysis-ik_releases]

注意，IK分词器插件要与ES版本保持一致；  
有的小伙伴在GitHub上下载插件时，没有发现与ES相对应的版本，可以切换到`Tags`中选择分支版本；  
例如`Branchs`列表中仅可能存在主版本号；  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_15_color_FFFFFF_t_70_g_se_x_16]  
切换到右侧Tags中查找对应的版本即可；小编这里选择的7.8.0的版本；  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_15_color_FFFFFF_t_70_g_se_x_16 1]

# 安装IK #

*  解压缩后拷贝到`ElasticSearch安装目录`的`plugins`文件夹下，默认情况该文件夹中为空，不存在任何插件，**将IK插件存入plugins目录并重命名ik**，如图：  
    ![在这里插入图片描述][edf205585cd5493685c1a1ad78bc3055.png]  
    解压缩目录如下：  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16]
 *  重启elasticsearch，观看是否加载插件  
    ![在这里插入图片描述][0cb1059fbb534067bc6e25a61783e28e.png]
 *  通过ES自带的工具查看, 命令行执行 `elasticSearch-plugin list`  
    ![在这里插入图片描述][bf0783f1a8124274b4f807144694177d.png]  
    注意，切换到bin目录下执行上面命令；

# kibana实操 #

介绍两种分词用法和区别，主要以**努力实现中国梦**为例；

## ik\_smart ##

ik\_smart为最少切分；  
如何最少切分呢？？？

GET _analyze
    { 
      "analyzer": "ik_smart",
      "text": "努力实现中国梦"
    }
    
    分词结果：
    { 
      "tokens" : [
        { 
          "token" : "努力实现",
          "start_offset" : 0,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 0
        },
        { 
          "token" : "中国",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 1
        },
        { 
          "token" : "梦",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "CN_CHAR",
          "position" : 2
        }
      ]
    }

## ik\_max\_word ##

ik\_max\_word为最细粒度划分；

GET _analyze
    { 
      "analyzer": "ik_max_word",
      "text": "努力实现中国梦"
    }
    
    分词结果：
    { 
      "tokens" : [
        { 
          "token" : "努力实现",
          "start_offset" : 0,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 0
        },
        { 
          "token" : "努力",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 1
        },
        { 
          "token" : "实现",
          "start_offset" : 2,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 2
        },
        { 
          "token" : "中国",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 3
        },
        { 
          "token" : "梦",
          "start_offset" : 6,
          "end_offset" : 7,
          "type" : "CN_CHAR",
          "position" : 4
        }
      ]
    }

## 自定义分词格式 ##

比如：**超级喜欢溪源博主**，用上面两种分词，会把溪源，博主分别作为单个词分开，结果如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_13_color_FFFFFF_t_70_g_se_x_16]  
需求想把`溪源`，`博主`作为两个词，因此需要我们自定义字典；

*  修改插件配置文件`ik/config/IKAnalyzer.cfg.xml`，加入自定义字典；  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
    打开配置文件夹目录，可以看到已经存在的默认词库，如下：  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 2]
 *  自定义`xiyuan.dic`文件  
    将溪源、博主作为词存入文件中；  
    ![在这里插入图片描述][d3ebe47c1c2e4bcb9615b65e247aaa83.png]

加入扩展自定义文件，如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 3]

*  重启ES服务和kibana

GET _analyze
    { 
      "analyzer": "ik_smart",
      "text": "超级喜欢溪源博主"
    }
    
    分词结果：
    { 
      "tokens" : [
        { 
          "token" : "超级",
          "start_offset" : 0,
          "end_offset" : 2,
          "type" : "CN_WORD",
          "position" : 0
        },
        { 
          "token" : "喜欢",
          "start_offset" : 2,
          "end_offset" : 4,
          "type" : "CN_WORD",
          "position" : 1
        },
        { 
          "token" : "溪源",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 2
        },
        { 
          "token" : "博主",
          "start_offset" : 6,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 3
        }
      ]
    }

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 4]

[https_github.com_medcl_elasticsearch-analysis-ik_releases]: https://github.com/medcl/elasticsearch-analysis-ik/releases
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/379c8af80c88468b991b94c8d85f7a4f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_15_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/0547c161b6e2475598df782c600c0ed3.png
[edf205585cd5493685c1a1ad78bc3055.png]: /images/20220829/cbc9ece52be045bfaddb2329104e9d3b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/6444e56161224683aff8db788ea44cac.png
[0cb1059fbb534067bc6e25a61783e28e.png]: /images/20220829/8c3daeb5688b449b9af7994764fcaae3.png
[bf0783f1a8124274b4f807144694177d.png]: /images/20220829/efa4adc0a36b472db682df62c070691a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/2d4197c0d261414ba4db4ad71c38cc5b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/8e054f2319454db3a6b7d4fc54504744.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/a2ab50f9ce6b4fe3a9317556204dfbd3.png
[d3ebe47c1c2e4bcb9615b65e247aaa83.png]: /images/20220829/c2bcfa896673480dbf45dd22de1096ba.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/20e07bccfc7d46b99bbe974391c73e0e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5rqqfua6kA_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220829/7c9186cbfbbf4bd8ac3764c0d9fe6c90.png