3 Lucene笔记（三）：测试分词器的拆分规则

短命女 2022-07-16 09:19 96阅读 0赞

**package** ch.lucene.app;

**import** java.io.StringReader;

**import** org.apache.lucene.analysis.Analyzer;

**import** org.apache.lucene.analysis.TokenStream;

**import** org.apache.lucene.analysis.cjk.CJKAnalyzer;

**import** org.apache.lucene.analysis.tokenattributes.TermAttribute;

**import** ch.lucene.utils.LuceneUtils;

**public** **class** TestAnalyzer \{

**private** **static** **void** testAnalyzer(Analyzer analyzer , String text ) **throws** Exception \{

System. ***out*** .println( "当前使用的分词器：" \+  analyzer .getClass());

TokenStream tokenStream =  analyzer .tokenStream( "content" , **new** StringReader( text ));

tokenStream .addAttribute(TermAttribute. **class** );

**while** (  tokenStream .incrementToken()) \{

TermAttribute termAttribute =  tokenStream .getAttribute(TermAttribute. **class** );

System. ***out*** .println( termAttribute .term());

\}

\}

**public** **static** **void** main(String\[\] args ) **throws** Exception \{

//testAnalyzer(new StandardAnalyzer(LuceneUtils.getVersion()), "当前所用分词器的拆分规则");

*testAnalyzer*( **new** CJKAnalyzer(LuceneUtils.*getVersion*()), "当前所用分词器的拆分规则，这是什么？" );

\}

\}

发表评论取消回复

表情：

评论列表（有 0 条评论，96人围观）

还没有评论，来说两句吧...

相关阅读

相关 3 Lucene笔记（三）：测试分词器的拆分规则

package ch.lucene.app; import java.io.StringReader; import org.apache.lucene.anal

短命女/ 2022年07月16日 09:19/ 0 赞/ 97 阅读

相关 4 Lucene笔记（四）：第三方分词器IKAnalyzer

使用第三方IKAnalyzer分词器\--------中文首选步一：导入IKAnalyzer分词器核心jar包，IKAnalyzer3.2.0Stable.jar 步二：

客官°小女子只卖身不卖艺/ 2022年07月16日 09:19/ 0 赞/ 195 阅读

相关 lucene学习笔记（四）lucene分词详解

![这里写图片描述][SouthEast] 分词器的核心类 ![这里写图片描述][SouthEast 1] Analyzer SimpleAnalyzer

我就是我/ 2022年07月11日 12:19/ 0 赞/ 279 阅读

相关 Lucene5(3)分词器

1、介绍 lucene默认自带的分词器对中文支持并不好，所以对于中文索引的分词器，建议使用第三方开源的中文分词器。 2、常见分词器 private Str

水深无声/ 2022年06月07日 00:53/ 0 赞/ 136 阅读

相关 lucene 第三个功能，中文分词器及代码示例

task 1. 支持中文分词 1.1. 分析器（Analyzer）的执行过程如下图是语汇单元的生成过程：从一个Reader字符流开始，创建

不念不忘少年蓝@/ 2022年06月06日 14:25/ 0 赞/ 172 阅读

相关使用lucene分词

<dependency> <groupId>org.apache.lucene</groupId> <a

本是古典何须时尚/ 2022年06月02日 09:29/ 0 赞/ 186 阅读

相关 Lucene之中文分词器

中文分词器什么是中文分词器对于英文，是安装空格、标点符号进行分词对于中文，应该安装具体的词来分，中文分词就是将词，切分成一个个有意义的词。比如：“我的

短命女/ 2022年05月22日 04:14/ 0 赞/ 217 阅读

相关基于高版本Lucene的中文分词器（IK分词器）的DEMO

注意为了大家方便，我没有屏蔽数据库，项目中用的数据源请各位码友不要乱搞~谢谢缘起日前项目中需要用到Lucene.且需要中文分词，看了下IK分词器，但是IK分

深碍√TFBOYSˉ_/ 2022年04月18日 00:56/ 0 赞/ 275 阅读

相关 Lucene实现分词

1、我使用的jar为IKAnalyzer2012\_u6.jar 请自行百度下载，并引用到项目中 2、pom.xml 添加引用 <dependency> <

深碍√TFBOYSˉ_/ 2022年03月17日 10:14/ 0 赞/ 225 阅读

相关 Lucene 3 中写自己的分词器Analyzer

转：[http://blog.sina.com.cn/s/blog\_4b3b7aff0100g3wh.html][http_blog.sina.com.cn_s_blog_4

不念不忘少年蓝@/ 2022年03月17日 05:26/ 0 赞/ 237 阅读