开源自然语言处理工具包hanlp中CRF分词实现详解

电玩女神 2022-02-13 03:02 277阅读 0赞

**CRF简介**

CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。

\[gerative-discriminative.png\]

**CRF训练**

这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。

**CRF解码**

解码采用维特比算法实现。并且稍有改进，用中文伪码与白话描述如下：

首先任何字的标签不仅取决于它自己的参数，还取决于前一个字的标签。但是第一个字前面并没有字，何来标签？所以第一个字的处理稍有不同，假设第0个字的标签为X，遍历X计算第一个字的标签，取分数最大的那一个。

如何计算一个字的某个标签的分数呢？某个字根据CRF模型提供的模板生成了一系列特征函数，这些函数的输出值乘以该函数的权值最后求和得出了一个分数。该分数只是“点函数”的得分，还需加上“边函数”的得分。边函数在本分词模型中简化为f(s’,s)，其中s’为前一个字的标签，s为当前字的标签。于是该边函数就可以用一个4\*4的矩阵描述，相当于HMM中的转移概率。

实现了评分函数后，从第二字开始即可运用维特比后向解码，为所有字打上BEMS标签。

实例

还是取经典的“商品和服务”为例，首先HanLP的CRFSegment分词器将其拆分为一张表：

![1088cd91b908bd246812442ce245e201dc94410b][]

null表示分词器还没有对该字标注。

**代码**

上面说了这么多，其实我的实现非常简练：

![93ad379f5b89a281995ea97833a9b70ab698af0b][]

![9709491694b9b15cf705b5502f5dd89339919e40][]

![2034a6a2fff22c293e50617d42bfba8cacb39d32][]

**标注结果**

标注后将table打印出来：

![1889d10113a2ad6c50452b640ee79addd7a87f17][]

**最终处理**

将BEMS该合并的合并，得到：

\[商品/null, 和/null, 服务/null\]

然后将词语送到词典中查询一下，没查到的暂时当作nx，并记下位置（因为这是个新词，为了表示它的特殊性，最后词性设为null），再次使用维特比标注词性：

\[商品/n, 和/cc, 服务/vn\]

**新词识别**

CRF对新词有很好的识别能力，比如：

CRFSegment segment = new CRFSegment();

segment.enablePartOfSpeechTagging(true);

System.out.println(segment.seg("你看过穆赫兰道吗"));

**输出**：

CRF标注结果

你 S

看 S

过 S

穆 B

赫 M

兰 M

道 E

吗 S

\[你/rr, 看/v, 过/uguo, 穆赫兰道/null, 吗/y\]

null表示新词。

[1088cd91b908bd246812442ce245e201dc94410b]: /images/20220213/c2c8bb825fa84c73bd688a99a275709e.png
[93ad379f5b89a281995ea97833a9b70ab698af0b]: /images/20220213/731ed004fd1744b784207123a4990a85.png
[9709491694b9b15cf705b5502f5dd89339919e40]: /images/20220213/e145e93a52074170a6e3ed3ef69ea42c.png
[2034a6a2fff22c293e50617d42bfba8cacb39d32]: /images/20220213/3ca2011d01894f63988157aa028f6820.png
[1889d10113a2ad6c50452b640ee79addd7a87f17]: /images/20220213/3d1377fa08f74a3ca4f537a59dba67e2.png