云计算项目实战之分词管理

本是古典何须时尚 2021-11-29 06:02 251阅读 0赞

第一部分： 需求分析

什么是中文分词

•  中文分词  (  Chinese Word Segmentation)  指的是将一个汉字序列切分成一个一个单独的词

•  中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果

什么是庖丁词汇

•  Paoding  （庖丁解牛分词）基于  Java  的开源中文分词组件，提供  lucene  和  solr  接口，具有极   高效率  和   高扩展性

•

•  采用基于   不限制个数  的词典文件对文章进行有效切分，使能够将对词汇分类定义

•

•  庖丁系统是个完全基于  lucene  的中文分词系统，它就是新建了一个  analyzer，  叫做  PaodingAnalyzer  ，  这个  analyer 的核心任务就是生成一个可以切词  TokenStream  。

•

•  仅支持  Java  语言。

功能需求

•  庖丁词汇初始化

•  分词表的基本维护与查询

第二部分： 技术点

安装与配置庖丁分词

•  下载庖丁最新的  Jar

•  https  ://code.google.com/p/paoding

•

•  将字典文件装载到本地的某个文件夹

•  例如  /home/test/  dic

•

•  将  paoding-analysis.properties  放在  resources  文件下或者修改  jar  包内该配置文件，指定

•  paoding.dic.home  =/home/test/  dic

基本使用演示

Analyzer a = new PaodingAnalyzer();

String doctext = “test  test”;

TokenStream token = a.tokenStream(doctext ,new StringReader(doctext));

Token k = null;

while((k = token.next)  != null)\{

System.out.println(k);

关键词

作用：生成用画像时候的一个元素

Keyword\_keywordId

<table style="font-size:12px;border:none;width:640px;">     
 <tbody> 
  <tr> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;">rowkey:</p> </td> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;">keyword!`!keywordid</p> </td> 
  </tr> 
  <tr> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;">C_FAMILY</p> </td> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;">data</p> </td> 
  </tr> 
 </tbody> 
</table>

Keywordid\_keyword

<table style="font-size:12px;border:none;width:640px;">     
 <tbody> 
  <tr> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;"> rowkey:</p> </td> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;"> keywordid!`!keyword</p> </td> 
  </tr> 
  <tr> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;"> C_FAMILY</p> </td> 
   <td style="font-family:verdana, arial, helvetica, sans-serif;"> <p style="font-size:14px;line-height:1.5em;"> data</p> </td> 
  </tr> 
 </tbody> 
</table>

第三部分： 代码实现

请参考视频和源码

私塾在线原创独家云计算课程

转载于:https://www.cnblogs.com/riasky/p/3478942.html