2.Elasticsearch IK Analysis（分词器）

傷城~ 2022-02-03 09:55 318阅读 0赞

**1.ik分词器简介**  
IK分词器的两种分词模式：

<table> 
 <thead> 
  <tr> 
   <th>模式</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ik_max_word</td> 
   <td>会将文本做最细粒度的拆分，比如会将"中华人民共和国国歌"拆分为"中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌"，会穷尽各种可能的组合；</td> 
  </tr> 
  <tr> 
   <td>ik_smart</td> 
   <td>会做最粗粒度的拆分，比如会将"中华人民共和国国歌"拆分为"中华人民共和国,国歌"。</td> 
  </tr> 
 </tbody> 
</table>

**2.IK分词器安装**  
这里我们采用在线安装的方式：注意安装的版本必须与es一致。

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.7.0/elasticsearch-analysis-ik-6.7.0.zip

**3.创建索引**  
分配3个主分片和一个复制分片（每个主分片都有一个复制分片），设置映射规则。

PUT http://10.168.14.40:8200/yrz
    { 
      "settings" : { 
        "number_of_shards" : 3,
        "number_of_replicas" : 1
      }
      "mappings":{ 
        "company_info":{ 
          "properties":{ 
            "title":{ 
              "type":"keyword"
            },
            "desc":{ 
              "type":"text",
              "analyzer": "ik_max_word"
            }
          }
        }
      }
    }

> yrz：为索引名称，company\_info：为索引对应的type；  
> number\_of\_shards：3 分配3个主分片，number\_of\_replicas：1 分配一个复制分片；  
> 为desc字段指定了analyzer，就是一个自定义分词器。为text类型的字段会被进行分词，然后索引；而keyword类型字段不会被分词。

**3.查看分词效果**

POST http://10.xxx.xx.40:8200/_analyze
    { 
        "text":"中华人民共和国国歌",
        "analyzer":"ik_max_word"
    }

分词效果如下：

{ 
        "tokens": [
            { 
                "token": "中华人民共和国",
                "start_offset": 0,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 0
            },
            { 
                "token": "中华人民",
                "start_offset": 0,
                "end_offset": 4,
                "type": "CN_WORD",
                "position": 1
            },
            { 
                "token": "中华",
                "start_offset": 0,
                "end_offset": 2,
                "type": "CN_WORD",
                "position": 2
            },
            { 
                "token": "华人",
                "start_offset": 1,
                "end_offset": 3,
                "type": "CN_WORD",
                "position": 3
            },
            { 
                "token": "人民共和国",
                "start_offset": 2,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 4
            },
            { 
                "token": "人民",
                "start_offset": 2,
                "end_offset": 4,
                "type": "CN_WORD",
                "position": 5
            },
            { 
                "token": "共和国",
                "start_offset": 4,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 6
            },
            { 
                "token": "共和",
                "start_offset": 4,
                "end_offset": 6,
                "type": "CN_WORD",
                "position": 7
            },
            { 
                "token": "国",
                "start_offset": 6,
                "end_offset": 7,
                "type": "CN_CHAR",
                "position": 8
            },
            { 
                "token": "国歌",
                "start_offset": 7,
                "end_offset": 9,
                "type": "CN_WORD",
                "position": 9
            }
        ]
    }

**4.IK自定义分词词库配置**  
进入es安装目录，config文件下找到ik插件安装目录/elasticsearch-6.7.0/config/analysis-ik。  
新增自定义词库文件yrz.dic

中华人民共和国
    国歌

修改IK配置文件 IKAnalyzer.cfg.xml ，添加自定义词库。

$ vim IKAnalyzer.cfg.xml 
    
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
            <comment>IK Analyzer 扩展配置</comment>
            
            <entry key="ext_dict">yrz.dic</entry>
             
            <entry key="ext_stopwords"></entry>
            
            
            
            
    </properties>

完成后重启es集群。  
我们再看下分词效果

POST http://10.xxx.xx.40:8200/_analyze
    {
        "text":"中华人民共和国国歌",
        "analyzer":"ik_smart"
    }

{ 
        "tokens": [
            { 
                "token": "中华人民共和国",
                "start_offset": 0,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 0
            },
            { 
                "token": "国歌",
                "start_offset": 7,
                "end_offset": 9,
                "type": "CN_WORD",
                "position": 1
            }
        ]
    }