Elasticsearch7 内置分词器介绍

朱雀 2022-10-09 12:21 196阅读 0赞

## 一、ES常用内置分词器 ##

*  standard - ES index默认分词器，按词切分，小写处理
 *  simple - 按照非字母切分(符号被过滤)，小写处理，会去除数字
 *  whitespace - 按照空格切分，不转小写
 *  stop - 小写处理，停用词过滤(the，a，is)
 *  keyword - 不分词，直接将输入当作输出

## 二、示例说明 ##

### 2.1 standard ###

支持中英文，中文会按单个字切割；将英文单词转换成小写形式，并去除停用词和标点符号

POST _analyze
    { 
    "analyzer": "standard",
    "text": ["123 my name is 闪闪闪 X !@"]
    }

分词结果：  
![在这里插入图片描述][202106241833472.png]

### 2.2 simple ###

通过非字母字符来分割文本信息，然后将英文单词统一为小写形式；该分词器会去掉数字类型的字符，中文原样输出

POST _analyze
    { 
    "analyzer": "simple",
    "text": ["123 my name is 闪闪闪 X !@"]
    }

分词结果：  
![在这里插入图片描述][2021062418341438.png]

### 2.3 whitespace ###

仅仅是去除空格，对字符没有lowcase化并且不对生成的英文单词进行其他的规范化处理

POST _analyze
    { 
    "analyzer": "whitespace",
    "text": ["123 my name is 闪闪闪 X !@"]
    }

分词结果：  
![在这里插入图片描述][2021062418344582.png]

### 2.4 stop ###

去除数字，停用词（the a is）以及特殊字符，将英文单词转换成小写形式

POST _analyze
    { 
    "analyzer": "whitespace",
    "text": ["123 my name is 闪闪闪 X !@ the zz a kk is"]
    }

分词结果：  
![在这里插入图片描述][20210624183923640.png]

### 2.5 keyword ###

不进行分词处理

POST _analyze
    { 
    "analyzer": "whitespace",
    "text": ["123 my name is 闪闪闪 X !@ the zz a kk is"]
    }

执行结果：  
![在这里插入图片描述][2021062418404681.png]

[202106241833472.png]: /images/20221005/87a16b6c8d714b8fa5802df8fae4d819.png
[2021062418341438.png]: /images/20221005/71272b4692e14d719a3de9b0c108e08f.png
[2021062418344582.png]: /images/20221005/f4c494bd9d1247279e2151d7fa0d9ffd.png
[20210624183923640.png]: /images/20221005/48a2753e6ee1400e8d8970d71dab49e0.png
[2021062418404681.png]: /images/20221005/32f21ecd09864b7abcf8e50964bcdaf2.png