ElasticSearch中分词器组件配置详解

梦里梦外; 2022-08-14 05:39 148阅读 0赞

首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由Apache Lucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。  
  
所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是一种办法，如果有时间，还是建议看看Lucene基础的知识。  
  
在ElasticSearch或Solr中，都提供了基于配置的可插拔式的分词插件，管理方式，这样以来就组合配置方式就非常灵活，在es中，一个analysis集合  
可以包含多个analyzer，而一个analyzer则由一个单个的tokenizer，零个或多个的tokenfilter组成，而一个tokenizer又可以包含零个或多个的charFilter。总体的执行流程如下图：  
   
  
![点击查看原始大小图片][6d5a46ad-568e-38b9-a3b0-bb56a0b47229.png]   
  
  
在es里面的一个模板配置如下：

Java代码 ![收藏代码][icon_star.png]

1.  index : 
2.   analysis ://一个analysis可以包含多个analyzer，tokenizer，filter，char\_filter配置
3.   analyzer :// 一个analyzer下面可以包含一个tokenizer，多个filter和char\_filter， position\_increment\_gap是距离查询时，最大允许查询的距离，默认是100
4.   myAnalyzer1 : 
5.   type : custom 
6.   tokenizer : myTokenizer1 
7.   filter : \[myTokenFilter1, myTokenFilter2\] 
8.   char\_filter : \[my\_html\] 
9.   position\_increment\_gap: 256
10.  myAnalyzer2 : 
11.  type : custom 
12.  tokenizer : myTokenizer1 
13.  filter : \[myTokenFilter1, myTokenFilter2\] 
14.  char\_filter : \[my\_html\] 
15.  position\_increment\_gap: 256
16. 
17.  tokenizer : 
18.  myTokenizer1 : 
19.  type : standard 
20.  max\_token\_length : 900
21.  myTokenizer2 : 
22.  type : keyword 
23.  max\_token\_length : 900
24.  filter : 
25.  myTokenFilter1 : 
26.  type : stop 
27.  stopwords : \[stop1, stop2, stop3, stop4\] 
28.  myTokenFilter2 : 
29.  type : length 
30.  min : 0
31.  max : 2000
32.  char\_filter : 
33.  my\_html : 
34.  type : html\_strip 
35.  escaped\_tags : \[xxx, yyy\] 
36.  read\_ahead : 1024

一个比较完整的分词器配置案例，就如上面的例子，几乎涵盖了所有可能用到的组件，而我们在实际应用中，要做的就是，选择组合我们需要的组件，定制成一个分词器，然后就可以使用了，  
上面的这段配置，我们需要配置在elasticsearch.yml文件中，全局有效，然后我们就可以在静态mapping或动态mapping中引用和使用它了。  
参考链接：  
[https://www.elastic.co/guide/en/elasticsearch/reference/2.1/analysis-custom-analyzer.html][https_www.elastic.co_guide_en_elasticsearch_reference_2.1_analysis-custom-analyzer.html]

[6d5a46ad-568e-38b9-a3b0-bb56a0b47229.png]: /images/20220731/edbb9d3c81d644148664f19ce6c80fe3.png
[icon_star.png]: /images/20220731/0840cef435e340b0a49318e86ca23825.png
[https_www.elastic.co_guide_en_elasticsearch_reference_2.1_analysis-custom-analyzer.html]: https://www.elastic.co/guide/en/elasticsearch/reference/2.1/analysis-custom-analyzer.html