Lucene5(3)分词器

水深无声 2022-06-07 00:53 133阅读 0赞

## 1、介绍 ##

lucene默认自带的分词器对中文支持并不好，所以对于中文索引的分词器，建议使用第三方开源的中文分词器。

## 2、常见分词器 ##

private String testText = "解决：就是指定paoding 的一个字典文件目录，这个文件在下载下来的压缩包中的dic中";
    /** * 分词器 * @return */
    public Analyzer getAnalyzer() {
        Analyzer analyzer = null;
        // 默认分词器
        analyzer = new StandardAnalyzer();
        // 中日韩语言分词器
    // analyzer = new CJKAnalyzer();
        // 空格分词器(以空格为分词标准)
    // analyzer = new WhitespaceAnalyzer();
        // 以标点符号来分隔的分词器
    // analyzer = new SimpleAnalyzer();
        // 等等
        return analyzer;
    }
    
    @Test
    public void tokenTest() throws Exception {
        Analyzer analyzer = getAnalyzer();
        TokenStream ts = analyzer.tokenStream("myfield", testText);
        OffsetAttribute offsetAtt = ts.addAttribute(OffsetAttribute.class);
        ts.reset();
        while (ts.incrementToken()) {
            //输出分词后的效果
            System.out.println(offsetAtt.toString());
        }
        ts.end();
        ts.close();
    }

## 3、第三方中文分词器 ##

第三方中文分词器ansj对于中文的分词效果较好，建议使用。  
ansj\_lucene5\_plug-5.1.1.2.jar  
ansj\_seg-5.1.1.jar  
nlp-lang-1.7.2.jar  
[下载链接][Link 1]

public Analyzer getAnalyzer() {
        Analyzer analyzer = new AnsjAnalyzer(TYPE.index_ansj);
        return analyzer;
    }

[Link 1]: http://download.csdn.net/download/sz85850597/10005304

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关 Lucene提供的几种分词器

1、几种lucene提供的分词器 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR...

╰+哭是因爲堅強的太久メ/ 2024年04月19日 13:22/ 0 赞/ 54 阅读

相关 Lucene-----查看分词结果

/ 获取指定分词器的分词结果 @param analyzeStr 要分词的字符串

ゝ一世哀愁。/ 2022年08月23日 08:28/ 0 赞/ 172 阅读

相关 Lucene中文分词Paoding

Paoding中文分词库是一个使用Java开发的基于Lucene4.x的分词器，可结合到Lucene应用中的，为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补

ゝ一纸荒年。/ 2022年08月01日 11:25/ 0 赞/ 198 阅读

相关 Lucene中文分词Jcseg

Jcseg是使用Java开发的一款开源的中文分词器, 基于流行的mmseg算法实现，分词准确率高达98.4%, 支持中文人名识别, 同义词匹配, 停止词过滤等。并且提供了最新版

╰半橙微兮°/ 2022年08月01日 11:25/ 0 赞/ 181 阅读

相关 Lucene中文分词介绍

由于lucene自带的分词方式对中文分词十分的不友好，所以在对一段中文中的某个词组进行搜索时，需要在创建索引是对其进行分词。下面介绍一些常见的中文分词器。一、IK Ana

朱雀/ 2022年08月01日 03:05/ 0 赞/ 279 阅读

相关 Lucene5(3)分词器

1、介绍 lucene默认自带的分词器对中文支持并不好，所以对于中文索引的分词器，建议使用第三方开源的中文分词器。 2、常见分词器 private Str

水深无声/ 2022年06月07日 00:53/ 0 赞/ 134 阅读

相关使用lucene分词

<dependency> <groupId>org.apache.lucene</groupId> <a

本是古典何须时尚/ 2022年06月02日 09:29/ 0 赞/ 185 阅读

相关 Lucene之中文分词器

中文分词器什么是中文分词器对于英文，是安装空格、标点符号进行分词对于中文，应该安装具体的词来分，中文分词就是将词，切分成一个个有意义的词。比如：“我的

短命女/ 2022年05月22日 04:14/ 0 赞/ 215 阅读

相关基于高版本Lucene的中文分词器（IK分词器）的DEMO

注意为了大家方便，我没有屏蔽数据库，项目中用的数据源请各位码友不要乱搞~谢谢缘起日前项目中需要用到Lucene.且需要中文分词，看了下IK分词器，但是IK分

深碍√TFBOYSˉ_/ 2022年04月18日 00:56/ 0 赞/ 267 阅读

相关 Lucene实现分词

1、我使用的jar为IKAnalyzer2012\_u6.jar 请自行百度下载，并引用到项目中 2、pom.xml 添加引用 <dependency> <

深碍√TFBOYSˉ_/ 2022年03月17日 10:14/ 0 赞/ 224 阅读