Lucene 3 中写自己的分词器Analyzer

不念不忘少年蓝@ 2022-03-17 05:26 236阅读 0赞

转：[http://blog.sina.com.cn/s/blog\_4b3b7aff0100g3wh.html][http_blog.sina.com.cn_s_blog_4b3b7aff0100g3wh.html]

Lucene的分词器部分是经常被修改的，我们实验室自己的分词器更适合自然语言处理，因此如何挂载自己的分词结果呢？在Lucene 3 中，发生了较大的变化。研究了半天，只需重写Tokenizer即可，关键是incrementToken()函数，用来向索引表写入词语数据和位移数据。其中的FMM.fmm()采用java本地接口jni调用dll实现，dll采用C写成，分词效率极高，且具有很强的未登录词识别功能;

import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.Reader;
    import org.apache.lucene.analysis.Tokenizer;
    import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
    import org.apache.lucene.analysis.tokenattributes.TermAttribute;
    import org.apache.lucene.util.AttributeSource;
    public class ICTSegTokenizer extends Tokenizer {
     public ICTSegTokenizer(Reader in) {
      super(in);
      init();
     }
     public ICTSegTokenizer(AttributeSource source, Reader in) {
      super(source, in);
      init();
     }
     public ICTSegTokenizer(AttributeFactory factory, Reader in) {
      super(factory, in);
      init();
     }
     
     private void init() {
      termAtt = (TermAttribute) addAttribute(TermAttribute.class);
      offsetAtt = (OffsetAttribute) addAttribute(OffsetAttribute.class);
     }
     
     public void seg() {
      try {
       BufferedReader buffer = new BufferedReader(input);// input转缓存
       StringBuffer sb = new StringBuffer();// 存放每一行内容
       String line = "";
       while ((line = buffer.readLine()) != null) {
        sb.append(line);
       }
       String result = FMM.fmm(sb.toString(), "\t");
       // System.out.println(sb.toString() + ":" + result);
       FMM.freeMem();
       resultArray = result.split("\t");
      } catch (Exception e) {
       e.printStackTrace();
      }
     }
     private int index = 0, len = 0, offset = 0;
     private String[] resultArray;
     private TermAttribute termAtt;
     private OffsetAttribute offsetAtt;
     
     public boolean incrementToken() {
      clearAttributes();
      if (index == 0) {
       seg();
       index = 0;
       len = resultArray.length;
      }
      if (index > len - 1) {// 超过分词结果时退出
       index = 0;
       len = 0;
       return false;
      }
      String word = resultArray[index];// 得到该索引的词
      termAtt.setTermBuffer(word);// 设置termAttr
      int wordLen = word.length();// 词的长度
      offsetAtt.setOffset(offset, offset + wordLen);// 设置位移
      // System.out.println(word + ":(" + Integer.toString(offset) + "-"
      // + Integer.toString(offset + wordLen) + ")");
      offset += wordLen;
      index++;
      return true;
     }
     public final void end() {
      // set final offset
      final int finalOffset = offset;
      this.offsetAtt.setOffset(finalOffset, finalOffset);
     }
     public void reset() throws IOException {
      super.reset();
      offset = index = 0;
     }
     public void reset(Reader input) throws IOException {
      super.reset(input);
      reset();
     }
    }

## 【转】打造自己的中文分词器之如何让Lucene认识自己的分词器 ##

转： [http://hi.baidu.com/k\_boy/item/9b7172106ff913fc746a84f1][http_hi.baidu.com_k_boy_item_9b7172106ff913fc746a84f1]

Lucene允许分词器的扩充，或换句话说也就是允许你自己编写的分词器应用到Lucene中，那么Lucene是如何做到这点的呢？如果让我们来自己设计，我们会如何做呢？下面将以Lucene自带的标准分词器StandardAnalyzer来予以说明  
首先看一下StandardAnalyzer的代码，为了显示简洁，以及突出重点，将不显示StandardAnalyzer的所有代码，先来看：

public class StandardAnalyzer extends Analyzer {
     public TokenStream tokenStream(String fieldName, Reader reader){
     TokenStream result = new StandardTokenizer(reader);
     result = new StandardFilter(result);
     result = new LowerCaseFilter(result);
     result = new StopFilter(result, stopSet);
     return result;
     }
    }

可以看到StandardAnalyzer继承了一个Analyzer类，这时你如果再查看下Lucene自带的其他分词器，你会发现所有的分词器，比如KeywordAnalyzer，SimpleAnalyzer等等都继承了这个类，那么由此便可几乎可以肯定这个类便是Lucene提供外来分词器融入Lucene的一个准入证，然后我们看看Analyzer究竟是个什么东西？如下：

public abstract class Analyzer {
     public abstract TokenStream tokenStream(String fieldName, Reader reader);
    	 public int getPositionIncrementGap(String fieldName){
    	 return 0;
     }
    }

原来是个抽象类！而抽象类主要就是干这活的，那就是提供一个通用的接口让别人去继承，而自己却懒得去干具体的活，这更证明了这点，要想自己写的分词器融入到Lucene中，必须继承这个类！接下来再看它的方法  
public abstract TokenStream tokenStream(String fieldName, Reader reader);里的TokenStream字面意思理解为分词流，什么意思呢？按我自己的理解，流在java里是与内存联系在一起的，分词流的意思就是分词在内存中以流的形式存在，或者说如果我们要得到分词对象(Token),就要通过TokenStream这个东西来得到，这个解释听上去可能有些不大好理解，在这里，我尽可能地以自己的理解来解释，在后面中我也会拿出实际的代码来予以说明，在Lucene对TokenStream的英文解释为A TokenStream enumerates the sequence of tokens, either from fields of a document or from query text.如果有看得懂的朋友就不用看我的解释了，看这段英文就好了.  
public abstract TokenStream tokenStream(String fieldName, Reader reader);这句中的第一个参数表示一个字段名，也就是你建索引的时候对应的字段名，比如：Field f = new Field("title","hello",Field.Store.YES, Field.Index.TOKENIZED);这句中的"title";而reader是java.io.Reader对象，顺便提一下，java.io.Reader也是一个抽象类，是用来读取字符流的，其用法大致为：

String s = "hello";
    reader = new StringReader(s); //StringReader继承自Reader

那么这一整句表示的就是：返回一个TokenStream对象，而这个TokenStream对象是由一个字段和这个字段对应的要分词的文本所转换成的Reader对象决定的，这个解释同样听上去也比较拗口，不过之后我也会尽量用代码来予以说明的。关于Analyzer类中的public int getPositionIncrementGap(String fieldName),这个在分词器的编写过程中没有用得上，所以不是很重要，不过用已有的中文解释为：在建立索引时，处理重复词条的位移增量问题，至于英文注释很长，这里就不列出了，有源码的朋友可以自己去看吧。  
好了，分析完Analyzer，我们再回到StandardAnalyzer来瞧一瞧吧，在StandardAnalyzer中，通过上面的分析，我们已经知道了public TokenStream tokenStream(String fieldName, Reader reader)是返回一个TokenStream对象，而这个TokenStream对象是由一个字段和这个字段对应的要分词的文本所转换成的Reader对象决定的,但是我们再看看方法体，发现还有好几行代码，下面分别予以简单说明：  
1TokenStream result = new StandardTokenizer(reader);//表示用StandardTokenizer对这个要分词的reader进行处理（不知道为啥想起了《这个杀手不太冷》中的那个主人公回答那个小姑娘问他是干啥时候的回答：我是清道夫cleaner），然后返回一个TokenStream对象  
2result = new StandardFilter(result);//表示对上面由"清道夫"进行清理后的TokenStream对象进行过滤(Filter)  
3result = new LowerCaseFilter(result);//表示对上面由"StandardFilter"过滤后的TokenStream对象再进行次过滤(跟广告中所说的纯净水经过多少次过滤后的道理其实一样的)  
4result = new StopFilter(result, stopSet);//接下来再进行次过滤，此次过滤后，达到了国家规定标准，此纯净水就可以喝了  
5return result;//XXX牌纯净水可以正式上市出售了！ 从上面的分析中可以得出这样一个结论，在一个分词器中：  
1.有进行分词的Tokenizer（StandardTokenizer）  
2.有进行过滤的Filter（比如LowerCaseFilter等）  
所以总的结论为：一个分词器(Analyzer)包括一个Tokenizer和若干个Filter（不同的分词器所有的Filter个数不一定相同，就如同不同的纯净水品牌，过滤的次数不同一样）  
现在问题就回到了此文的最初了，如何让Lucene认得自己编写的分词器并让分词器融入到Lucene温暖的大家庭中呢？很显然，我们要按照Lucene提供的准入规则来办，因此，如果你想写一个XXXAnalyzer自定义的分词器，那么你得：  
1.继承一下Analyzer，让Lucene知道我是很诚心地想融入到这个温暖大家庭中的，public class XXXAnalyzer extends Analyzer  
2.然后加入之后要干活呀，不能终日游手好闲，所以得努力干活呀：于是public TokenStream tokenStream(String fieldName, Reader reader)，在这个方法中定义了你干活的工具：锄头Tokenizer（锄禾日当午，汗滴禾下土）和镰刀Filter（我割我割我割割割）  
3.然后告诉Lucene，我干完了一件活（return result;）  
Ok，就是这样了！让Lucene认识自己的分词器很简单吧？Lucene刚看上去的时候很严肃，让人摸不着脾气，其实熟悉后会发现这“人”挺不错的！  
附：  
1.细心的朋友一定会发现在StandardAnalyzer中还有好几段代码，是关于StopFilter的，由于这篇博文主要讲的是剖析StandardAnalyzer从而得知如何让Lucene认识自己的分词器，而StopFilter在其中显得并非是必须的，所以先暂时略过，留待以后有空的时候再补上。  
2.关于XXXAnalyzer的中文命名，我这里是统一将XXXAnalyzer命名为分词器，而按照英文字面意思理解应为分析器，有的书上也是翻译为分析器，而我觉得我们更直接想到的是对中文进行分词，所以就直接命名为了分词器，实际上，Tokenizer才是分词器，也是构成XXXAnalyzer的一部分，但XXXAnalyzer的主要工作其实就是Tokenizer干的活，特此说明。

[http_blog.sina.com.cn_s_blog_4b3b7aff0100g3wh.html]: http://blog.sina.com.cn/s/blog_4b3b7aff0100g3wh.html
[http_hi.baidu.com_k_boy_item_9b7172106ff913fc746a84f1]: http://hi.baidu.com/k_boy/item/9b7172106ff913fc746a84f1