灵玖Nlpir Parser智能挖掘汉语精准分词

小灰灰 2021-03-28 15:02 460阅读 0赞

在中文自然语言处理中，词是最小的能够独立活动的有意义的语言成分。汉语是以字为基本书写单位，词语之间没有明显的区分标记，因此进行中文自然语言处理通常是先将汉语文本中的字符串切分成合理的词语序列，然后再在此基础上进行其它分析处理。中文分词是中文信息处理的一个基础环节，已被广泛应用于中文文本处理、信息提取、文本挖掘等应用中。分词涉及许多方面的问题，主要包括：

(1). 核心词表问题：许多分词算法都需要有一个核心的(通用、与领域无关的)词表。凡在该词表中的词，分词时就应该切分出来。但对于哪些词应当收进核心词表，目前尚无一个标准;

(2). 词的变形问题：汉语中的动词和形容词有些可以产生变形结构，如“打牌”、“开心”、“看见”、“相信”可能变形成“打打牌”、“开开心”、“看没看见”、“相不相信”等。对这些变形结构的切分往往缺少可操作而又合理的规范;

(3). 词缀的问题：如语素“者”在现代汉语中单用是没有意义的，因此“作者”、“成功者”、“开发者”内部不能切开，都会有人提出异议。

(4). 汉语自动分词规范须支持各种不同目标的应用，但不同目标的应用对词的要求是不同甚至是矛盾的。

![1101013-20170705154045081-1981501387.png][]

灵玖软件Nlpir Parser智能挖掘平台是网络搜索、自然语言理解和文本挖掘的技术开发的基础工具集，开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中。

Nlpir Parser智能挖掘平台汉语词法分析系统能对汉语语言进行拆分处理，是中文信息处理必备的核心部件。灵玖综合了各家所长，采用条件随机场(Conditional Random Field,简称CRF)模型，分词准确率接近99%，具备准确率高、速度快、可适应性强等优势;特色功能包括：切分粒度可调整，融合20余部行业专有词典，支持用户自定义词典等。

人名、地名、机构名识别能够自动挖掘出隐含在汉语中的人名、地名、机构名，所提炼出的词语不需要在词典库中事先存在，是对语言规律的深入理解和预测。采用条件随机场（Conditional Random Field,简称CRF）模型，识别准确率达到97%，速度达到10M/s，可在此基础上搭建各种多样化的统计和应用。

[1101013-20170705154045081-1981501387.png]: /images/20210328/1616943755732.png