ElasticSearch Mapping学习—ElasticSearch分词器

小咪咪 2022-12-23 09:44 214阅读 0赞

## 内置的分词器 ##

ES的内置分词器如下：

<table> 
 <thead> 
  <tr> 
   <th>分词器</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Standard Analyzer</td> 
   <td>ES的标准分词器，主要用于英文分词</td> 
  </tr> 
  <tr> 
   <td>Simple Analyzer</td> 
   <td>简单分词器，按非英文字母进行分词，同时转化成小写字母</td> 
  </tr> 
  <tr> 
   <td>Whitespace Analyzer</td> 
   <td>空格分词器，按空格分词</td> 
  </tr> 
  <tr> 
   <td>Stop Analyzer</td> 
   <td>类似于Simple Analyzer，但是增加了停顿词功能</td> 
  </tr> 
  <tr> 
   <td>Keyword Analyzer</td> 
   <td>关键词分词器</td> 
  </tr> 
  <tr> 
   <td>Pattern Analyzer</td> 
   <td>正则分词器，支持停顿词</td> 
  </tr> 
  <tr> 
   <td>Language Analyzer</td> 
   <td>针对特定语言的分词器</td> 
  </tr> 
  <tr> 
   <td>Fingerprint Analyzer</td> 
   <td>指纹分词器，通过创建标记进行重复检测</td> 
  </tr> 
 </tbody> 
</table>

内置的分词器一般用于简单的测试，或者简单常规要求的英文文档索引。

## IK分词器使用 ##

ES如果需要索引中文内容，则使用最多的分词器就是IK分词器了。github地址：`https://github.com/medcl/elasticsearch-analysis-ik`

### IK分词器的安装 ###

*  **方式1**

1.  在GitHub上下载已经编译好的IK分词器，如`https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.0/elasticsearch-analysis-ik-7.10.0.zip`
2.  将压缩包中的内容解压到`${es_home}/plugins/ik/`中
3.  重启ES，IK分词器生效

*  **方式2**

能联网的情况下，在ES的安装目录中执行如下命令:

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.0/elasticsearch-analysis-ik-7.10.0.zip

### 自定义扩展词库 ###

在`${es_home}/plugins/ik/config`目录下，新建`extends.dict`文件（文件名任意），在该文件中可以配置自定义的词库。例如如下内容:

我
    爱
    中华人民共和国
    中国
    中华
    人民
    人民共和国
    共和国

然后在`${es_home}/plugins/ik/config/IKAnalyzer.cfg.xml`中配置扩展词典的位置：

<properties>
      <comment>IK分词器扩展库</comment>
      
      <entry key="ext_dict">extends.dict</entry>
      
      <entry key="ext_stopwords"></entry>
      
      
      
      
    </properties>

远程词库和停顿词词库有一个优点是支持热更新，需要提供一个远程接口，接口返回扩展词即可，可以尝试启动一个http服务，启动一个endpoint，访问endpoint会返回一段文本，则改全路径就可以配置到`<entry key="remote_ext_dict"></entry>`或者`<entry key="remote_ext_stopwords"></entry>`中了。

## 自定义分词器 ##

自定义一个custom\_analyzer分词器，采用standard分词器，增加char\_filter和filter过程:

PUT blog
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "custom_analyzer":{
              "type":"custom",
              "tokenizer":"standard",
              "char_filter":["html_strip"],
              "filter":["lowercase","asciifolding"]
            }
          }
        }
      }
    }

查看分词器分析结果:

POST blog/_analyze
    {
      "analyzer": "custom_analyzer",
      "text": [
        "<p>HELLO Transmission Control Protocol is a transport layer</p>"
      ]
    }