搜索学习基础--分词器的使用

超、凢脫俗 2022-06-06 13:19 171阅读 0赞

> 在[代码实现倒排索引][Link 1]这节中，我们的分词方式是对文本按空格分词。而在我们实际过程中，我们对分词的要求是苛刻的，我们会在不同的场景下使用不同的分词器。现在，我们先使用标准分词器StandardAnalyzer这个工具来进行分词的测试。

*  首先我们需要引入jar包，这是一个Lucene全文检索引擎中自带的分词器.
    
        <dependency>
                 <groupId>org.apache.lucene</groupId>
                  <artifactId>lucene-analyzers-common</artifactId>
                  <version>4.7.2</version>
        </dependency>
 *  简单的使用
    
        import org.apache.lucene.analysis.Analyzer;
        import org.apache.lucene.analysis.TokenStream;
        import org.apache.lucene.analysis.core.SimpleAnalyzer;
        import org.apache.lucene.analysis.standard.StandardAnalyzer;
        import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
        import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
        import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
        
        import java.io.IOException;
        import java.io.StringReader;
        
        /**
         * created by yuyufeng on 2017/11/9.
         */
        public class LearnAnalyzer {
            public static void main(String[] args) {
                // 构建分词器
                Analyzer analyzer = new StandardAnalyzer();
        
                // 获取Lucene的TokenStream对象
                TokenStream ts = null;
                try {
                    ts = analyzer.tokenStream("myfield", new StringReader(
                            "这是一个分词的例子，我们来使用一下试试。 Let's use it."));
                    // 获取词元位置属性
                    OffsetAttribute offset = ts.addAttribute(OffsetAttribute.class);
                    // 获取词元文本属性
                    CharTermAttribute term = ts.addAttribute(CharTermAttribute.class);
                    // 获取词元文本属性
                    TypeAttribute type = ts.addAttribute(TypeAttribute.class);
        
                    // 重置TokenStream（重置StringReader）
                    ts.reset();
                    // 迭代获取分词结果
                    while (ts.incrementToken()) {
                        System.out.println(offset.startOffset() + " - " + offset.endOffset() + " : "
                                + term.toString() + " | " + type.type());
                    }
                    // 关闭TokenStream（关闭StringReader）
                    ts.end(); // Perform end-of-stream operations, e.g. set the final offset.
        
                } catch (IOException e) {
                    e.printStackTrace();
                } finally {
                    // 释放TokenStream的所有资源
                    if (ts != null) {
                        try {
                            ts.close();
                        } catch (IOException e) {
                            e.printStackTrace();
                        }
                    }
                }
            }
        }

> **运行结果**：

> StandardAnalyzer是一个标准的分词器，它以非字母符来分割文本信息，并将语汇单元统一为小写形式，并去掉数字类型的字符。而我们的中文词组的分词显然不同。所以，对于中文的分词，我们常用的有IK分词器

<dependency>
      <groupId>com.janeluo</groupId>
      <artifactId>ikanalyzer</artifactId>
      <version>2012_u6</version>
    </dependency>

## 常见的分词器 ##

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>分词规则</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>WhitespaceAnalyzer</td> 
   <td>以空格作为切词标准，不对语汇单元进行其他规范化处理。</td> 
   <td>适用英文</td> 
  </tr> 
  <tr> 
   <td>SimpleAnalyzer</td> 
   <td>以非字母符来分割文本信息，并将语汇单元统一为小写形式，并去掉数字类型的字符</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>StopAnalyzer</td> 
   <td>停顿词分析器会去除一些常有a,the,an等等，也可以自定义禁用词</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>StandardAnalyzer</td> 
   <td>标准分析器是Lucene内置的分析器,会将语汇单元转成小写形式，并去除停用词及标点符号</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>CJKAnalyzer</td> 
   <td>中日韩分析器，能对中，日，韩语言进行分析的分词器</td> 
   <td>对中文支持效果一般</td> 
  </tr> 
  <tr> 
   <td>SmartChineseAnalyzer</td> 
   <td></td> 
   <td>对中文支持稍好，但扩展性差，扩展词库，禁用词库和同义词库等不好处理</td> 
  </tr> 
  <tr> 
   <td>IKAnalyzer</td> 
   <td>支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符优化的词典存储，更小的内存占用。支持用户词典扩展定义</td> 
   <td>常用</td> 
  </tr> 
  <tr> 
   <td>HanLP</td> 
   <td>HanLP实现了许多种分词算法，每个分词器都支持特定的配置</td> 
   <td>国产，实现了许多种分词算法，支持自命名体识别等</td> 
  </tr> 
 </tbody> 
</table>

[Link 1]: http://blog.csdn.net/qq_18860653/article/details/78436987