ElasticSearch：分词

我会带着你远行 2023-02-21 06:24 35阅读 0赞

##### es内置分词器 #####

*  standard：默认分词，单词会被拆分，大小会转换为小写。
 *  simple：按照非字母分词。大写转为小写。
 *  whitespace：按照空格分词。忽略大小写。
 *  stop：去除无意义单词，比如the/a/an/is…
 *  keyword：不做分词。把整个文本作为一个单独的关键词。

restful风格使用

POST /_analyze
    {
        "analyzer": "standard",   // 分词器
        "text": "text文本"     // 需要分词的文本
    }

##### 中文分词 #####

内置分词器只支持英文，中文分词需要用第三方插件，这里推荐[elasticsearch-analysis-ik][]，支持`ik_max_word` 和 `ik_smart`两种分词方式。

*  ik\_max\_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；
 *  ik\_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

###### 扩展词库与停用词库 ######

配置 \{conf\}/analysis-ik/config/IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
    <properties>
    	<comment>IK Analyzer 扩展配置</comment>
    	
    	<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
    	 
    	<entry key="ext_stopwords">custom/ext_stopword.dic</entry>
     	
    	<entry key="remote_ext_dict">location</entry>
     	
    	<entry key="remote_ext_stopwords">http://xxx.com/xxx.dic</entry>
    </properties>

[elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik