solr4.3之配置中文分词smartcn

电玩女神 2022-04-14 04:39 238阅读 0赞

\[b\]\[size=x-large\]  
solr4.3默认的分词器是一元分词器，这个本来就是对英文进行分词的，英文大部分就是典型的根据空格进行分词，而中文如果按照这个规则，那么显然是要有很多的冗余词被分出来，一些没有用的虚词，数词，都会被分出来，影响效率不说，关键是分词效果不好，所以可以利用solr的同步发行包smartcn进行中文切词，smartcn的分词准确率不错，但就是不能自己定义新的词库，不过smartcn是跟solr同步的，所以不需要额外的下载，只需在solr的例子中拷贝进去即可，下面给出路径图和安装solr4.3的smartcn分词过程  
无论安装那种分词器，大部分都有2个步骤，第一步是拷贝jar包到solr的lib中  
\[/size\]  
\[/b\]

C:\桌面\solr-4.3.0\contrib\analysis-extras\lucene-libs
    F:\eclipse10tomcat\webapps\solr\WEB-INF\lib
    smartcn的同步发行包:lucene-analyzers-smartcn-4.3.0.jar

\[b\]\[size=x-large\]  
这个弄好之后，就需要在schemal.xml文件中，注册分词器了  
\[/size\]  
\[/b\]

<fieldType name="text_smart" class="solr.TextField" positionIncrementGap="100">
          <analyzer type="index">
           
            <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>
    		
            
    
    		<filter class="solr.SmartChineseWordTokenFilterFactory"/>
    
          </analyzer>
          <analyzer type="query">
          
            <tokenizer class="solr.SmartChineseSentenceTokenizerFactory"/>
    			
    		<filter class="solr.SmartChineseWordTokenFilterFactory"/>
    
          </analyzer>
        </fieldType>

\[b\]\[size=x-large\]  
最后在引用一下字段类型就可以了  
\[/size\]  
\[/b\]

<field name="sma" type="text_smart" indexed="true" stored="true" multiValued="true"/>

\[b\]\[size=x-large\]  
访问\[url\]http://localhost:8080/solr/\#/collection1\[/url\]点击分词分析即可查看分词效果  
\[/size\]  
\[/b\]

发表评论取消回复

表情：

评论列表（有 0 条评论，238人围观）

还没有评论，来说两句吧...

相关阅读

相关给solr配置中文分词器

Solr的中文分词器 1. 中文分词在solr里面是没有默认开启的，需要我们自己配置一个中文分词器。 2. 目前可用的分词器有smartcn，IK，Jeasy，庖丁。

系统管理员/ 2022年09月24日 14:19/ 0 赞/ 218 阅读

相关 solr6.0配置中文分词器IK Analyzer

solr6.0中进行中文分词器IK Analyzer的配置和solr低版本中最大不同点在于IK Analyzer中jar包的引用。一般的IK分词jar包都是不能用的，因为I

心已赠人/ 2022年08月22日 15:20/ 0 赞/ 192 阅读

相关 Solr6.1配置中文分词

按照Solr官方文档给的教程搭建的环境无法对中文分词 ![这里写图片描述][20160823172018367] 所以搜了一下，找了一篇。参考 [solr6.0配

痛定思痛。/ 2022年07月17日 00:22/ 0 赞/ 182 阅读

相关 solr配置中文分词器

1.配置中文分词器 1.1如果没有配置好solr的,可以参考 [solr整合tomca][solr_tomca] 1.2 配置

柔光的暖阳◎/ 2022年06月01日 00:24/ 0 赞/ 264 阅读

相关 Solr-4.10 配置中文分词器(IKAnalyzer)

1、下载IKAnalyzer [http://pan.baidu.com/s/1i3eXhAH][http_pan.baidu.com_s_1i3eXhAH] 密码：

r囧r小猫/ 2022年04月18日 06:52/ 0 赞/ 248 阅读

相关 solr4.3之配置中文分词mmseg4j

\[b\]\[size=large\]前面，笔者已经介绍过solr里面另外2种中文分词的配置，今天就来就简述一下mmseg4j在solr4.3里面的配置，mmseg4j也是一款

刺骨的言语ヽ痛彻心扉/ 2022年04月14日 05:20/ 0 赞/ 205 阅读

相关 solr4.3之配置中文分词smartcn

\[b\]\[size=x-large\] solr4.3默认的分词器是一元分词器，这个本来就是对英文进行分词的，英文大部分就是典型的根据空格进行分词，而中文如果按照这个规

电玩女神/ 2022年04月14日 04:39/ 0 赞/ 239 阅读

相关 solr4.3之配置中文分词IK

\[size=x-large\]\[b\] 上一篇讲了使用solr4.3自带的smartcn进行中文分词，这一篇说一下，怎么使用IK进行分词，在这之前先对中文分词的种

超、凢脫俗/ 2022年04月14日 04:39/ 0 赞/ 211 阅读

相关 Solr7.7安装，配置中文分词 IKAnalyzer分词

ik文件包下载：[IK-analyzer 提取码: solr ][IK-analyzer _ _ solr_]备用地址下载：[IK-analyzer][] 配置从下

﹏ヽ暗。殇╰゛Y/ 2022年01月07日 23:53/ 0 赞/ 307 阅读

相关 Solr配置中文分词器

1.1.1.1.1 第一步：添加IkAnalyze的jar依赖 \--把IKAnalyzer2012FF\_u1.jar添加到solr/WEB-INF/lib目录下。

￡神魔★判官ぃ/ 2021年10月23日 11:56/ 0 赞/ 389 阅读