NER(命名实体识别)之FLAT详解

拼搏现实的明天。 2021-09-25 08:20 821阅读 0赞

![图片][727e556673c11a88bd9a816cb44ab02a.png]

paper：https://arxiv.org/pdf/2004.11795.pdf

code：https://github.com/LeeSureman/Flat- Lattice-Transformer

**前言**

本文继续之前的NER词汇增强方式，介绍一下复旦邱锡鹏的佳作FLAT，之前介绍的基于Lattice结构的NER模型（比如Lattice LSTM、LR-CNN）动态引入词汇信息，避免了分词错误带来的级联误差，取得了当时的SOTA效果。然而基于RNN或者CNN的模型都存在一些天生的缺陷，RNN不能并行，不能充分利用GPU性能，而CNN无法捕获长依赖。文本提出了基于Transformer来解决Lattice LSTM中词汇损失问题（每个字符只能获取以它为结尾的词汇信息），并且使用相对位置编码来使得Transformer适应NER。

**一、FALT模型：**

目前处理Lattice结构一般有两种思路：一种是适配Lattice的输入，比如Lattice LSTM和LR-CNN；另一种就是把Lattice转换为graph结构，然而使用GNN去编码，比如LGN和CGN。然而对于NER模型，序列结构是非常重要的；图结构是通用方法，去做NER模型，作者认为存在不可忽视的差距。

下图Figure1展示了Lattice LSTM和FLAT模型的区别：

![图片][5d3fd4438a5b72aa14028f8e0f646877.png]

FLAT的结构如上图Figure1（c）所示，每个字符和每个潜在的word使用head和tail两个索引去表示token在输入序列中的绝对位置，head表示开始索引，tail表示结束索引，对于每个字符，head和tail是一样的；每个word是不一样的，比如word“重庆”，head为1，tail为2，说明序列中第一个字符和第二个字符为“重庆”。

**二、Transformer子模块**

Transformer的encoder模块主要有self-attention，feedforward network（FFN）以及他们之间的residual连接和layer normalization。一般是为了捕获更多的语义信息，会使用Multi-head机制，下面介绍一个head的self-attention机制：

![图片][50977dfa443d88751d9fdc14c88e58ec.png]

**三、FLAT模型的相对位置**

每两个span（包括字符和潜在的词）的相对关系有三种：相交intersection、包含inclusion、互斥separation。我们不去直接表示这三种关系，而是使用向量去表示，使用head\[i\]和tail\[i\]表示span Xi的开始位置和结束位置，那么对于任意两个span的位置关系就可以表示为如下公式：

![图片][403cfecf229c5a47b32591c082b8286f.png]

最终的相对位置是把这四个位置向量进行拼接起来，如下：

![图片][c30e94a6a601bcc710002017cece4783.png]

其中

![图片][4aa4f41de5d4243848ecfd5c531c81d1.png]

然后根据self-attention计算如下：

![图片][97aa6e2988d603efeddfef34ed5e0a4d.png]

最后使用A∗替换等式（1）的A即可

注意：最后只使用字符向量来作为输出，用于CRF进行解码。

**四、FALT完整模型：**

![图片][d814c93371595743b99dd512355ebdef.png]

**五、FALT实验：**

**5.1、模型实验效果**

![图片][b43e5ae34a4040d90fb58ab1462cefef.png]

**5.2、模型的推理速度**

![图片][4a8f719609d2c9a12979b65c84988805.png]

**5.3、FLAT与BERT融合**

![图片][fd8064e1295839d9364f5ebfebd537bc.png]

结论：在大数据集上FLAT+BERT优于BERT，小数据集上不太明显。

[727e556673c11a88bd9a816cb44ab02a.png]: /images/20210923/4e8d6339121e4908b31bc27b7f4e6fe7.png
[5d3fd4438a5b72aa14028f8e0f646877.png]: /images/20210923/5425a63ecf2a4dfab1e46a99976b38e5.png
[50977dfa443d88751d9fdc14c88e58ec.png]: /images/20210923/bd953f723c3a4c1bb2566e68a18c4fac.png
[403cfecf229c5a47b32591c082b8286f.png]: /images/20210923/e9e4aff77e4f4e5ab7b3fa8a1300d6dd.png
[c30e94a6a601bcc710002017cece4783.png]: /images/20210923/c59fc8edbeb74ccdab5e12176afdee0b.png
[4aa4f41de5d4243848ecfd5c531c81d1.png]: /images/20210923/78e24850c843485fb1bc2b7a791a0d0e.png
[97aa6e2988d603efeddfef34ed5e0a4d.png]: /images/20210923/c53dd49116a04cbc9c93d8e531e8ff8c.png
[d814c93371595743b99dd512355ebdef.png]: /images/20210923/c6770968757242929225d1ddffb09c50.png
[b43e5ae34a4040d90fb58ab1462cefef.png]: /images/20210923/f35605a5b7e0411b84c7ba8cd5f88e36.png
[4a8f719609d2c9a12979b65c84988805.png]: /images/20210923/080557aac56d45d6a7c7778f6dd6250f.png
[fd8064e1295839d9364f5ebfebd537bc.png]: /images/20210923/d4ca4c697b534c9ab71d1829097ef692.png