【ElasticSearch】IK分词器

朴灿烈づ我的快乐病毒、 2022-11-18 02:00 197阅读 0赞

> > 公众号上线啦！  
> > 搜一搜【国服冰】  
> > 使命：尽自己所能给自学后端开发的小伙伴提供一个少有弯路的平台  
> > 回复：国服冰，即可领取我为大家准备的资料，里面包含整体的Java学习路线，电子书，以及史上最全的面试题！

## IK分词器 ##

> 什么是IK分词器？

分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作，默认的中文分词器是将每个字看成一个词，比如"**我爱可星**"会被分为"**我**",“**爱**”,“**可**”,“**星**”，这显然不符合我们的要求，所以我们需要安装中文分词器IK来解决这个问题。

IK提供了两个分词算法:`ik_smart`和`ik_max_word`

其中`ik_smart`为最少切分,`ik_max_word`为最细粒度划分

> 下载安装

[IK][] 安装时注意和`ES`版本一致，下载完毕后解压到`ES`的`plugins`目录下并创建`Ik`新文件夹，重启`ES`

> `ik_smart` 最少切分

GET _analyze
    { 
      "analyzer": "ik_smart",
      "text": ["和可星的一个约定"]
    }

切分后：

{ 
      "tokens" : [
        { 
          "token" : "和",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "CN_CHAR",
          "position" : 0
        },
        { 
          "token" : "可",
          "start_offset" : 1,
          "end_offset" : 2,
          "type" : "CN_CHAR",
          "position" : 1
        },
        { 
          "token" : "星",
          "start_offset" : 2,
          "end_offset" : 3,
          "type" : "CN_CHAR",
          "position" : 2
        },
        { 
          "token" : "的",
          "start_offset" : 3,
          "end_offset" : 4,
          "type" : "CN_CHAR",
          "position" : 3
        },
        { 
          "token" : "一个",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 4
        },
        { 
          "token" : "约定",
          "start_offset" : 6,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 5
        }
      ]
    }

> `ik_max_word`为最细粒度划分 穷尽词库的可能

GET _analyze
    { 
      "analyzer": "ik_max_word",
      "text": ["和可星的一个约定"]
    }

切分后：

{ 
      "tokens" : [
        { 
          "token" : "和",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "CN_CHAR",
          "position" : 0
        },
        { 
          "token" : "可",
          "start_offset" : 1,
          "end_offset" : 2,
          "type" : "CN_CHAR",
          "position" : 1
        },
        { 
          "token" : "星",
          "start_offset" : 2,
          "end_offset" : 3,
          "type" : "CN_CHAR",
          "position" : 2
        },
        { 
          "token" : "的",
          "start_offset" : 3,
          "end_offset" : 4,
          "type" : "CN_CHAR",
          "position" : 3
        },
        { 
          "token" : "一个",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 4
        },
        { 
          "token" : "一",
          "start_offset" : 4,
          "end_offset" : 5,
          "type" : "TYPE_CNUM",
          "position" : 5
        },
        { 
          "token" : "个",
          "start_offset" : 5,
          "end_offset" : 6,
          "type" : "COUNT",
          "position" : 6
        },
        { 
          "token" : "约定",
          "start_offset" : 6,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 7
        }
      ]
    }

> 发现：`IK`把可星这个词拆开了，因为它自带的字典里并没有这个词，所以我们需要添加自己的词典，让`IK`分词器能识别这是一个词！

![config][]  
![kexing.dic][]

更改`IK`配置文件，将自己的字典添加进去，重启

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">kexing.dic</entry>
    	 
    	<entry key="ext_stopwords"></entry>
    	
    	
    	
    	
    </properties>

> 测试

GET _analyze
    { 
      "analyzer": "ik_smart",
      "text": ["和可星的一个约定"]
    }

{ 
      "tokens" : [
        { 
          "token" : "和",
          "start_offset" : 0,
          "end_offset" : 1,
          "type" : "CN_CHAR",
          "position" : 0
        },
        { 
          "token" : "可星",
          "start_offset" : 1,
          "end_offset" : 3,
          "type" : "CN_WORD",
          "position" : 1
        },
        { 
          "token" : "的",
          "start_offset" : 3,
          "end_offset" : 4,
          "type" : "CN_CHAR",
          "position" : 2
        },
        { 
          "token" : "一个",
          "start_offset" : 4,
          "end_offset" : 6,
          "type" : "CN_WORD",
          "position" : 3
        },
        { 
          "token" : "约定",
          "start_offset" : 6,
          "end_offset" : 8,
          "type" : "CN_WORD",
          "position" : 4
        }
      ]
    }

现在可星也被识别为一个存在的词了！

[IK]: https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v7.9.0
[config]: /images/20221022/cd993952c6aa48fe8c4be89733cb4da9.png
[kexing.dic]: /images/20221022/031fc48dd82b43f99118bcfd3abe5bbe.png