Solr Tokenizers分词器介绍

朴灿烈づ我的快乐病毒、 2022-07-12 04:51 556阅读 0赞

**摘要：** Solr的分词器(Tokenizers)用来将文本流分解成一系列的标记(tokens)。分析器analyzer 受字段配置的影响，分词器(Tokenizers)于此无关。分析器主要是把字符流(character stream )处理成一系列的标记对象(Token objects)。[参见原文][Link 1]。

## 分词器说明 ##

输入流中很些信息可能是不需要的，比如空格和标点；有些信息是需要添加的，如同义词/别名；有些信息需要替换，如缩略语等。这样，分析器处理后的一个标记(token)包含很多信息。  
例如：

这里的`StandardTokenizerFactory`并不是真正的分词器，而是所有实现该`TokenizerFactory`的API。这个工厂类将在需要创建新的tokenizer 时被调用。它的`create()`方法接受一个Reader参数（即字符流）并返回一个TokenStream（即标记流）。创建对象的工厂必须源自Tokenizer。除非你要使用tokenizer 生成的标记(token)，否则都应该将结果传送给下级的过滤器(filter)。

## 分词器种类 ##

### Standard Tokenizer ###

这个Tokenizer将文本的空格和标点当做分隔符。  
注意，你的Email地址（含有@符合）可能会被分解开；用点号（就是小数点）连接的部分不会被分解开。对于有连字符的单词，也会被分解开。

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maxTokenLength</td> 
   <td>整数，默认255</td> 
   <td>超过此长度的字符会被忽略</td> 
  </tr> 
 </tbody> 
</table>

举例：

**输入**：“Please, email john.doe@foo.com by 03-09, re: m37-xq.”  
**输出**： “Please”, “email”, “john.doe”, “foo.com”, “by”, “03”, “09”, “re”, “m37”, “xq”

### Classic Tokenizer ###

基本与Standard Tokenizer相同。  
注意，用点号（就是小数点）连接的部分不会被分解开；用@号（Email中常用）连接的部分不会被分解开；互联网域名（比如wo.com.cn）不会被分解开；有连字符的单词，如果是数字连接也会被分解开。

例如：

**输入**： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”  
**输出**： “Please”, “email”, “john.doe@foo.com”, “by”, “03-09”, “re”, “m37-xq”

### Keyword Tokenizer ###

把整个输入文本当做一个整体。  
没有参数。  
例如：

**输入**： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”  
**输出**： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”

### Letter Tokenizer ###

只处理字母。  
没有参数。  
例如：

**输入**： “I can’t.”  
**输出**： “I”, “can”, “t”

### Lower Case Tokenizer ###

以非字母元素分隔，将所有的字母转化为小写。  
没有参数。  
例如：

**输入**： “I just LOVE my iPhone!”  
**输出**： “i”, “just”, “love”, “my”, “iphone”

### N-Gram Tokenizer ###

将输入文本转化成指定范围大小的片段。  
注意，空格也会被当成一个字符处理。

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>minGramSize</td> 
   <td>整数，默认1</td> 
   <td>指定最小的片段大小，需大于0</td> 
  </tr> 
  <tr> 
   <td>maxGramSize</td> 
   <td>整数，默认2</td> 
   <td>指定最大的片段大小，需大于最小值</td> 
  </tr> 
 </tbody> 
</table>

例如：

**输入**： “hey man”  
**输出**： “h”, “e”, “y”, ” “, “m”, “a”, “n”, “he”, “ey”, “y “, ” m”, “ma”, “an”

> 注意，这里的空格会被当成一个字符，所以会有一个空的token，此外，”m”和” m”，还有”y”和”y “是不同的，后者都含有一个空格符。

例如：

**输入**： “bicycle”  
**输出**： “bicy”, “bicyc”, “icyc”, “icycl”, “cycl”, “cycle”, “ycle”

### Edge N-Gram Tokenizer ###

用法和N-Gram Tokenizer类似。

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>minGramSize</td> 
   <td>整数，默认1</td> 
   <td>指定最小的片段大小，需大于0</td> 
  </tr> 
  <tr> 
   <td>maxGramSize</td> 
   <td>整数，默认1</td> 
   <td>指定最大的片段大小，需大于或等于最小值</td> 
  </tr> 
  <tr> 
   <td>side</td> 
   <td>“front” 或 “back”, 默认”front”</td> 
   <td>指定从哪个方向进行解析</td> 
  </tr> 
 </tbody> 
</table>

例如：

**输入**： “babaloo”  
**输出**： “b”

例如：

**输入**： “babaloo”  
**输出**： “ba”, “bab”, “baba”, “babal”

例如：

**输入**： “babaloo”  
**输出**： “oo”, “loo”, “aloo”, “baloo”

### Regular Expression Pattern Tokenizer ###

可以指定正则表达式来分析文本。

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>pattern</td> 
   <td>必选项</td> 
   <td>正规表达式</td> 
  </tr> 
  <tr> 
   <td>group</td> 
   <td>数字，可选，默认-1</td> 
   <td>负数表示用正则表达式做分界符；非正数表示只分析满足正则表达式的部分；0表示满足整个正则表达式；大于0表示满足正则表达式的第几个括号中的部分</td> 
  </tr> 
 </tbody> 
</table>

例如：

**输入**： “fee,fie, foe , fum”  
**输出**： “fee”, “fie”, “foe”, “fum”

例如：

**输入**： “Hello. My name is Inigo Montoya. You killed my father. Prepare to die.”  
**输出**： “Hello”, “My”, “Inigo”, “Montoya”, “You”, “Prepare”

> 这里的group为0，表示必须满足整个表达式，正则表达式的含义是以大写字母开头，之后是大写字母或小写字母的组合。

例如：

**输入**： “SKU: 1234, Part Number 5678, Part: 126-987”  
**输出**： “1234”, “5678”, “126-987”

> 这个group等于3，表示满足第三个括号”\[0-9-\]+”中的正则表达式

### White Space Tokenizer ###

这个Tokenizer将文本的空格当做分隔符。

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>rule</td> 
   <td>默认java</td> 
   <td>如何定义空格</td> 
  </tr> 
  <tr> 
   <td>unicode</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

例如：

**输入**： “To be, or what?”  
**输出**： “To”, “be,”, “or”, “what?”

[Link 1]: https://cwiki.apache.org/confluence/display/solr/About+Tokenizers