【论文阅读】Document-Level Relation Extraction with Reconstruction（AAAI2021）

痛定思痛。 2023-01-03 04:07 174阅读 0赞

> [作者提供的代码][Link 1]  
> 2021 AAAI

提出，没有关系的实体对会影响编码器的attention效果。

创新：

将更多的注意力放在有关系的实体对上，对路径重构。  
重构方法最常用在神经机器翻译NMT上，解决翻译不够充分的问题。作者证明了用在DocRE效果也很好。

## 1. 异构图构建 ##

假设一个文档有L个句子，每个句子有J个词。使用BILSTM对其进行编码。如上图所示，异构图包含提及结点、实体结点、句子结点。作者在指向相同实体的不同提及之间，还加了Mention-Coreference边。

## 2.编码器 ##

使用图注意力网络对异构图的每个节点编码。  
给定前 l − 1 l-1 l−1个跳推理的输入，将它们拼接起来，转化成固定维度的第 l l l跳推理的输入。  
这个输入进入self-attention，得到第 l l l跳推理的输出。  
将这总共 l l l跳推理的输出，整合起来，经过非线性层，用Relu激活，得到异构图的表示\{q1,q2,…,qn\}

## 3. 分类 ##

给定异构图的表示\{q1,q2,…,qn\}，每对实体对的2个结点的表示，作为分类器的输入，判别他们的关系。  
分类器是个多层感知器，最后用sigmoid激活一下，作为关系的概率值。

![在这里插入图片描述][20210107090717486.png_pic_center]

bce做损失函数。  
![在这里插入图片描述][20210107090819672.png_pic_center]  
模型架构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center]

## 4. 重构 ##

当两个实体存在关系，他们在图结构表示中，应该有很强的依赖关系。因此，探索从学习的图中，重建每个实体对的路径依赖。为每个实体对生成重构路径，并计算重构路径的概率来指示如何进行重构。  
首先根据数据集的元路径信息，将实体间的3种路径，来作为重构的候选路径。  
![模型][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center 1]

1.  提及结点和实体结点  
    EM-MM-EM  
    比如上图中的｛7 3 4 8｝
2.  逻辑推理  
    EM-MM-CO-MM-EM  
    \{7 3 4 5 6 9\}
3.  关联推理  
    ES-SS-ES  
    \{7 1 2 9\}

上面介绍的第一个路径的优先级最高。  
选择上面三种之一，作为重构路径的监督。  
使用LSTM计算每个结点的隐藏状态。计算完了，把他们扔到softmax计算每个结点的可能性。  
如果一个实体对之间确实存在关系， 那就把这个路径概率最大化。否则，概率最小化。换而言之，出现路径的可能性越高，实体对之间存在关系的可能性越大。因此，把路径出现的概率作为关系分类的辅助指标。  
重构的Loss和 relation Loss简单相加，得到最终的Loss。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center 2]

[Link 1]: https://github.com/xwjim/DocRE-Rec.git
[20210107090717486.png_pic_center]: /images/20221119/b4abbaaea63d4a5fada2a441b63a5892.png
[20210107090819672.png_pic_center]: /images/20221119/5154bc2c54004d02a08973707ebd89ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/a97bb245e1c046b8a4cb89fa5935dd38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221119/92fa5d08fa9143f199816c7eba40a0be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221119/aad370f4bc3944c1aeb16bedb2a80ddb.png