ElasticSearch--分词器--使用/教程/实例

た入场券 2022-09-16 11:23 159阅读 0赞

原文网址：[ElasticSearch--分词器--使用/教程/实例\_IT利刃出鞘的博客-CSDN博客][ElasticSearch--_--_IT_-CSDN]

# 简介 #

**说明**

本文介绍ES分词器的使用（知识+实例）。

Elasticsearch之所以全文搜索很快，是因为采用了倒排索引，倒排索引的核心是分词。分词：就是把内容拆分为很多个词语，ES是把text格式的字段按照分词器进行分词并保存为索引的。

**本文版本**

本文使用的ES版本为：7.15.0 （写本文时的最新稳定版）。

# 分词详解 #

Elasticsearch分析器有几个概念：[Analysis][]、[Analyzer][]、[Character filters][]、[Tokenizer][]、[Token filter][]。

Analysis（分析器）功能是把文本切分成词项（词项是倒排索引中的基本单位）。分析器的功能主要是通过分词器(Analyzer)来实现的。

Analyzer由三部分组成：字符过滤器（Character filters）、分词器（Tokenizer）和词元过滤器（Token filter）。每一个Analyzer有且只能有一个tokenizer。

*  Character filters：针对原始文本处理，例如去除html
 *  Tokenizer：按照规则将文本切分为单词
 *  Token Filter：将切分的单词进行加工，如单词小写、删除stopword、增加同义词等

执行流程如下： ![8b1767fa4aa84ff99f0fc75fa1ace9b9.png][]

# 内置分词器 #

## 简介 ##

Elasticsearch已经提供了多种功能强大的内置分词器。

<table style="width:572px;"> 
 <thead> 
  <tr> 
   <th>分词器</th> 
   <th style="width:436px;">作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Standard</strong></td> 
   <td style="width:436px;"> <p>ES默认分词器，把句子分成一个个的单词并转为小写，对于大多数欧洲语言（比如英语）进行分词非常合适。</p> </td> 
  </tr> 
  <tr> 
   <td>Simple</td> 
   <td style="width:436px;">按照非字母字符切分，然后去除非字母字符并转为小写。</td> 
  </tr> 
  <tr> 
   <td>Stop</td> 
   <td style="width:436px;">与简单分词器类似，增加了停用词过滤功能，停用词包括the、a、is。最终按照非字母字符和停用词切分并转为小写。</td> 
  </tr> 
  <tr> 
   <td>Whitespace</td> 
   <td style="width:436px;">按照空格切分。</td> 
  </tr> 
  <tr> 
   <td>Language</td> 
   <td style="width:436px;">对特定语言进行切分。据说提供了30多种常见语言的分词器。</td> 
  </tr> 
  <tr> 
   <td>Pattern</td> 
   <td style="width:436px;"> <p>按正则表达式进行分词，支持停用词。默认是\W+，代表非字母。单词会转为小写。</p> </td> 
  </tr> 
  <tr> 
   <td><strong>Keyword</strong></td> 
   <td style="width:436px;">不进行分词，作为一个整体输出。</td> 
  </tr> 
 </tbody> 
</table>

本处的分词器指的是Analyzer，ES也内置了Tokenizer，但常用的是Analyzer这个概念，本处也贴出ES自带的Tokenizer，不是重点，可以跳过。

1.  Standard Tokenizer  
    标准分词器将文本划分为单词边界上的术语，这由Unicode文本分段算法定义。它删除大多数标点符号。这是大多数语言的最佳选择。
2.  Letter Tokenizer  
    字母分词器在遇到非字母字符时会将文本分为多个术语。
3.  Lowercase Tokenizer  
    小写分词器与字母分词器一样，在遇到非字母的字符时，会将文本分为多个词，但所有词都小写。
4.  Whitespace Tokenizer  
    每当遇到任何空白字符时，空格tokenizer都会将文本划分为多个term。
5.  UAX URL Email Tokenizer  
    uax\_url\_email tokenizer 类似于standard tokenizer，不同之处在于它将URL和电子邮件地址识别为单个token。
6.  Classic Tokenizer  
    经典的分词器是用于英语的基本语法的分词器。
7.  Thai Tokenizer  
    泰语分词器将泰语文本分成单词。
8.  N-Gram Tokenizer  
    这个tokenizer比较特殊，对于查询不使用空格或长单词的语言（例如德语）很有用。  
    他会首先按照一定的规则进行分词，然后对每个词输出一个n-gram,就是类似把单词做了一个滑窗处理一样。
9.  Edge N-Gram Tokenizer  
    作用类似n-gram,只是返回的分词结果是n-gram的一部分，他要求必须是从token的开头算起的n个char
10. Keyword Tokenizer  
    关键字分词器是一个“空”标记器，它接受给出的任何文本，并输出与输入完全相同的文本作为token。它可以与token filter （如lowercase）组合以对分析的术语进行归一化。
11. Pattern Tokenizer  
    模式分词器使用正则表达式在与单词分隔符匹配时将文本拆分为多个token，或将匹配的文本捕获为token。
12. Simple Pattern Tokenizer  
    simple\_pattern 分词器使用正则表达式捕获匹配的文本作为term。它使用正则表达式功能的受限子集，并且通常比模式分词器更快。
13. Char Group Tokenizer  
    char\_group分词器可通过分割字符集进行配置，通常比运行正则表达式轻量。
14. Simple Pattern Split Tokenizer  
    simple\_pattern\_split分词器使用与simple\_pattern分词器相同的受限正则表达式子集，但是匹配的部分用来拆分输入，而不是将匹配部分作为结果返回。
15. Path Tokenizer  
    路径分词器path\_hierarchy分词器采用类似于文件系统路径的分层值，在路径分隔符上拆分，并为树中的每个组件产生一个term，例如/foo/bar/baz -> \[/foo，/foo/bar，/foo/bar/baz\]。

## 验证 ##

可以使用ES的\_analyze来查看如何分词的。

**查看默认分词器的分词情况**

POST \_analyze

{
        "text": "我们是软件工程师"
    }

结果（每个字都被拆开，且没有词语组合）：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16][]

贴出全部结果

{
        "tokens": [{
                "token": "我",
                "start_offset": 0,
                "end_offset": 1,
                "type": "<IDEOGRAPHIC>",
                "position": 0
            }, {
                "token": "们",
                "start_offset": 1,
                "end_offset": 2,
                "type": "<IDEOGRAPHIC>",
                "position": 1
            }, {
                "token": "是",
                "start_offset": 2,
                "end_offset": 3,
                "type": "<IDEOGRAPHIC>",
                "position": 2
            }, {
                "token": "软",
                "start_offset": 3,
                "end_offset": 4,
                "type": "<IDEOGRAPHIC>",
                "position": 3
            }, {
                "token": "件",
                "start_offset": 4,
                "end_offset": 5,
                "type": "<IDEOGRAPHIC>",
                "position": 4
            }, {
                "token": "工",
                "start_offset": 5,
                "end_offset": 6,
                "type": "<IDEOGRAPHIC>",
                "position": 5
            }, {
                "token": "程",
                "start_offset": 6,
                "end_offset": 7,
                "type": "<IDEOGRAPHIC>",
                "position": 6
            }, {
                "token": "师",
                "start_offset": 7,
                "end_offset": 8,
                "type": "<IDEOGRAPHIC>",
                "position": 7
            }
        ]
    }

**查看指定分词器的分词情况**

本处以simple为例

POST \_analyze

{
    	"analyzer": "simple",
    	"text": "我们是软件工程师"
    }

结果：（没有分）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

# 中文分词器 #

## 简介 ##

**说明**

从上边“内置分词器”的“实例”中可以看到，对汉字没有很好的分词。比如：软件、工程、工程师，这三个应该单独作为分词的。

考虑如下场景：我想搜索“软件”这两个字，但文档1里边有“微**软**的文**件**”这几个字，它也会被搜出，这是不合理的。

**常用的中文分词器**

*  IK
    
     *  支持自定义词库，支持热更新分词字典
 *  ICU Analyzer
    
     *  提供了Unicode的支持，更好的支持亚洲语言
 *  THULAC

推荐使用IK分词器，这也是目前使用最多的分词器。本文使用IK分词器进行实例验证。

## ik分词器介绍 ##

[GitHub - medcl/elasticsearch-analysis-ik: The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch, support customized dictionary.][GitHub - medcl_elasticsearch-analysis-ik_ The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch_ support customized dictionary.]

ik分词器有两种Analyzer也有两种Tokenizer：

Analyzer: ik\_smart , ik\_max\_word；Tokenizer: ik\_smart , ik\_max\_word

## 安装ik分词器 ##

**1.下载**

[https://github.com/medcl/elasticsearch-analysis-ik][GitHub - medcl_elasticsearch-analysis-ik_ The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch_ support customized dictionary.]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

本处我在windows下验证，所以下载：elasticsearch-analysis-ik-7.15.0.zip

**2.安装**

在ES的安装目录的plugins目录下新建ik目录，将上边文件解压后放进去，结果：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

## 实例 ##

**测试1：ik\_smart**

POST \_analyze

{
    	"analyzer": "ik_smart",
    	"text": "我们是软件工程师"
    }

结果

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

**测试2：ik\_max\_word**

POST \_analyze

{
    	"analyzer": "ik_max_word",
    	"text": "我们是软件工程师"
    }

结果

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

# analyzer和search\_analyzer #

**说明**

分析器（analyzer）主要有两种情况会被使用：

1.  插入文档时，将text类型的字段做分词然后插入倒排索引，。
2.  在查询时，先对要查询的text类型的输入做分词，再去倒排索引搜索。

在索引（即插入文档）时，只会去看字段有没有定义analyzer，有定义的话就用定义的，没定义就用ES预设的。

在查询时，会先去看字段有没有定义search\_analyzer，如果没有定义，就去看有没有analyzer，再没有定义，才会去使用ES预设的。

默认情况下，插入文档和查询使用的是同一种分析器，即字段映射中设置的analyzer，例如：

{
        "mappings": {
            "properties": {
                "title": {
                    "type": "text",
                    "analyzer": "ik_smart"
                }
            }
        }
    }

我们也可以在插入文档和查询使用不同的分析器：（下边这种配置也是项目中常用的）

{
        "mappings": {
            "properties": {
                "title": {
                    "type": "text",
                    "analyzer": "ik_smart",
    				"search-analyzer": "ik_max_word"
                }
            }
        }
    }

**官网**

[search\_analyzer | Elasticsearch Guide \[7.15\] | Elastic][search_analyzer _ Elasticsearch Guide _7.15_ _ Elastic]

# 其他网址 #

《从Lucene到Elasticsearch：全文检索实战》 => 4.3 中文分词器配置

[elasticsearch安装和使用ik分词器\_程序员欣宸的博客-CSDN博客\_elasticsearch安装ik分词器][elasticsearch_ik_-CSDN_elasticsearch_ik]

[ElasticSearch中文分词，看这一篇就够了\_静待花开-CSDN博客\_elasticsearch 中文分词][ElasticSearch_-CSDN_elasticsearch]

[4、ElasticSearch中的分词器\_我就是我的博客-CSDN博客][4_ElasticSearch_-CSDN]

[解读Elasticsearch分析器中的重要术语-CSDN博客][Elasticsearch_-CSDN]

[02.analyzer-tokenizer\_寒夜-CSDN博客][02.analyzer-tokenizer_-CSDN]

[ElasticSearch--_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/120841076
[Analysis]: https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis.html
[Analyzer]: https://www.elastic.co/guide/en/elasticsearch/reference/7.15/configure-text-analysis.html
[Character filters]: https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-charfilters.html
[Tokenizer]: https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-tokenizers.html
[Token filter]: https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-tokenfilters.html
[8b1767fa4aa84ff99f0fc75fa1ace9b9.png]: /images/20220828/45312448c5584fcdb420783687f557d9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ae13d91bd59d41118f3b17a59661b83d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/bedd45423f934723b546fd10edae3542.png
[GitHub - medcl_elasticsearch-analysis-ik_ The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch_ support customized dictionary.]: https://github.com/medcl/elasticsearch-analysis-ik
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/1da06c431af34913855951542bae1c8d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/771f5dd4ac66453bbd97d3a8dd44f005.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/82ad4e956968495a85773104d21f9d92.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTliKnliIPlh7rpnpg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/4ad820f4169f453e910bef8042f5c9fc.png
[search_analyzer _ Elasticsearch Guide _7.15_ _ Elastic]: https://www.elastic.co/guide/en/elasticsearch//reference/current/search-analyzer.html
[elasticsearch_ik_-CSDN_elasticsearch_ik]: https://blog.csdn.net/boling_cavalry/article/details/86549043
[ElasticSearch_-CSDN_elasticsearch]: https://blog.csdn.net/qq_26803795/article/details/106522611
[4_ElasticSearch_-CSDN]: https://blog.csdn.net/zyxwvuuvwxyz/article/details/108678970
[Elasticsearch_-CSDN]: https://blog.csdn.net/napoay/article/details/78992835
[02.analyzer-tokenizer_-CSDN]: https://blog.csdn.net/u013200380/article/details/106887913