融入词汇信息的基于字的命名实体识别方法

向右看齐 2023-05-29 09:19 7阅读 0赞

### 融入词汇信息的基于字的命名实体识别方法 ###

**基于词的中文命名实体识别方法**，前期存在不可避免的分词错误，会导致后期命名实体识别过程中

实体边界识别错误，进而导致方法的性能指标下降。

而**基于字的命名实体识别方法**，虽然不存在分词错误，但是没有考虑词的信息。

经验上，相当一部分实体边界是词的边界，说明词可以提供丰富的边界信息。

对于句子`南京市长江大桥`若无词信息，可以会提取出`南京市长`、`江大桥`这种错误信息。

基于词与基于字的模型结构如下所示

![format_png][]

为了提高基于字的命名实体识别方法的性能指标，研究者考虑将词汇信息融入基于字的命名实体识别方法中。

`Chinese NER Using Lattice LSTM`与`An Encoding Strategy Based Word-Character LSTM for Chinese NER`就是其中的两篇经典论文，下面分别介绍。

--------------------

### Chinese NER Using Lattice LSTM ###

经典的LSTM框图、计算公式如下, 详细可参考[如何从RNN起步，一步一步通俗理解LSTM][RNN_LSTM]

![70][]

![format_png 1][]

作者提出为了融入词汇信息，作者提出了**Lattice LSTM**。框架如下图

![format_png 2][]

Lattice LSTM的基本框架是基于字级的LSTM，但是在隐状态向量传递的中间，多加了一个`词汇路径`

**从词汇开始的字流向词汇结束的字**。控制词汇信息流动的门控计算公式如下。

![format_png 3][]

####  h b c h\_b^c hbc是词汇开始字输出hidden state，  x b , e w x\_\{b,e\}^w xb,ew是词嵌入向量， c b c c\_b^c cbc是词汇开始字输出的cell state ####

由于会存在多个词汇，以相同的字结尾，所以会有多条路径通向同一个字。作者利用softmax公式，计算各个词汇信息输入的input gate和原本字符的input gate比重，来计算字最后的cell state，之后hidden state与普通的LSTM计算公式一样。具体的公式如下

![format_png 4][]

##### 计算cell state，作者并没有使用遗忘门，参考一些博主的解释：在控制词汇信息流入的时候，已经对主干的cell state进行了forget控制。就是公式13中的forget门的作用 #####

#### 缺点: ####

##### 由于词汇的长度和数量是变量，无法固定，所以Lattice LSTM无法批量训练。实际使用过程中，由于无法批量训练并且结构复杂，所以导致模型训练较慢 #####

--------------------

### An Encoding Strategy Based Word-Character LSTM for Chinese NER ###

#### 总体模型框架图如下 ####

![format_png 5][]

与lattice LSTM相比，该方法并没有改变原本双向lstm结构，而是在输入的字向量中融入词汇信息。

在forward LSTM中融入基于字开头的词汇信息。

在backward LSTM中融入基于字结尾的词汇信息。

跟lattice LSTM中存在相同的情况，即存在多个以相同字开头的词汇信息，或多个以相同字结尾的词汇信息。

作者分别采取四种策略，来解决这种情况。

*  Shorest Word First: 选择其中(相同字结尾或相同字开头的词汇列表中）最短的词汇(信息)
 *  Longest Word First:选择其中(相同字结尾或相同字开头的词汇列表中）最长的词汇(信息)
 *  Average：对词汇信息进行平均
 *  Self-Attention:利用自注意力机制对词汇信息赋予不同的权重，进行计算。

#### 需要说明一下论文中细节 ####

由于需要批量训练，所以每个字融入的词汇信息维度必须是一样的。

所以必须确定单个字融入的词汇信息数量这个超参数。

### 参考 ###

[论文阅读总结——Chinese NER Using Lattice LSTM][Chinese NER Using Lattice LSTM]

[chinese ner using lattice lstm][]

[An Encoding Strategy Based Word-Character LSTM for Chinese NER ][An Encoding Strategy Based Word-Character LSTM for Chinese NER]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9sYXR0aWNlTFNUTTEuUE5H?x-oss-process=image/format,png
[RNN_LSTM]: https://blog.csdn.net/v_july_v/article/details/89894058
[70]: https://img-blog.csdn.net/20180728200322569?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI4MzQ1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9sYXR0aWNlTFNUTTMuUE5H?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9MYXR0aWNlTFNUTTIuUE5H?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9sYXR0aWNlTFNUTTQuUE5H?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9sYXR0aWNlTFNUTTUuUE5H?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20venljeG5hbndhbmcvSW1hZ2UvcmF3L21hc3Rlci9sYXR0aWNlTFNUTTYuUE5H?x-oss-process=image/format,png
[Chinese NER Using Lattice LSTM]: https://blog.csdn.net/qq_32728345/article/details/81264853
[chinese ner using lattice lstm]: http://scholar.google.com/scholar_url?url=https://arxiv.org/pdf/1805.02023&hl=zh-CN&sa=X&scisig=AAGBfm3MNyiji1DOLV-FMKIZG1dmmI4Ojg&nossl=1&oi=scholarr
[An Encoding Strategy Based Word-Character LSTM for Chinese NER]: https://www.aclweb.org/anthology/N19-1247/