Day16_10_ES教程之安装中文分词器Ik_Analyzer

阳光穿透心脏的1/2处 2024-02-19 20:39 36阅读 0赞

## ElasticSearch中安装中文分词器Ik\_Analyzer ##

### 一. Ik\_Analyzer中文分词器简介 ###

#### 1. GoogleCode 官网介绍 ####

**IK Analyzer 是一个开源的,基于Java语言开发的轻量级的中文分词工具包.**从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本.最初它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件.从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现. 在2012版本中,IK实现了简单的分词歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化.

#### 2. IK Analyzer 2012 特性 ####

*  1️⃣. **采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和智能分词两种切分模式**;
 *  2️⃣. 在系统环境为Core2 i7 3.4G双核,4G内存,window 7 64位,Sun JDK 1.6\_29 64位,普通pc环境测试,IK2012具有160万字/秒(3000KB/S)的高速处理能力;
 *  3️⃣. 2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出;
 *  4️⃣. 采用了多子处理器分析模式,支持英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符;
 *  5️⃣. 优化的词典存储,更小的内存占用.支持用户词典扩展定义,特别在2012版本,词典支持中文,英文,数字混合词语.

#### 3. IK版本 ####

![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70][]

### 二. es5.6.8安装IK中文分词器 ###

#### 1. 下载IK中文分词器 ####

下载地址:  
[https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.6.8][https_github.com_medcl_elasticsearch-analysis-ik_releases_tag_v5.6.8]  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 1][]

下载完毕解压缩.  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 2][]

#### 2. IK Analyzer安装包config目录介绍 ####

![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 3][]

**IKAnalyzer.cfg.xml**: 分词器扩展配置文件;

**stopword.dic**: 停止词典,表示无意义的词,中文分词的时候会忽略它们,如 “的”、“地”、“得” 等.

**extra\_xxx.dic扩展停用词**: 表示一些 IK-Analyzer 自己无法解析的专有词汇,需要程序员手动告诉它,这些词是完整有语义的词,不要再做切分,如 “量子物理”、“拉普拉斯方程”、“高斯定理”、“傅里叶级数” 等.

无论是“停用词字典”还是“扩展字典”文件都要用 UTF-8 编码,文件中的一行表示一个词,结尾不要有空格.

#### 3. 安装ik中文分词器 ####

进入到我们自己的elasticsearch安装目录,我的是`E:\ELK\elasticsearch-5.6.8\plugins`目录,在该目录下创建一个ik文件夹.

如图所示:  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 4][]

将之前下载的`elasticsearch-analysis-ik-5.6.8.zip`解压缩,然后复制里面的所有内容,并移动到plugins/ik/目录下,如下图所示:  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 5][]

#### 注意: ####

解压的文件需要全部放到ik根目录,否则启动失败.

#### 4. 启动es,测试中文分词器. ####

#### 4.1 curl 命令 ####

curl -XGET "http://192.168.1.102:9200/_analyze?pretty" -H 'Content-Type:application/json' -d '{"""analyzer""":"""ik_smart""","""text""":"""跟一一哥学习es的使用,可以来上海找我"""}'

#### 4.2 DSL命令 ####

可以在kibana的DevTools中执行DSL命令.

GET /_analyze?pretty
    {"""analyzer""":"""ik_smart""","""text""":"""跟一一哥学习es的使用,可以来上海找我"""}

![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 6][]  
![Image 1][]

[Image 1]: 
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a7f3e5c227514a4aac74a98fbd5df712.png
[https_github.com_medcl_elasticsearch-analysis-ik_releases_tag_v5.6.8]: https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.6.8
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/443a2e56699544afbe2ed90f5dce991e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4d4f5fbbe372405d8962d50c736a5587.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/15d368963fe84382bec281bba4b014ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/26898cfc5aea4d97b942d554f72bc7ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/2b9b83f205fc48f2a83c0a703444fd04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c762acfc67844c01b9750aa0968ffe04.png