【论文阅读】Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relat

约定不等于承诺〃 2022-10-31 14:00 104阅读 0赞

> Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction  
> AAAI 2021

![在这里插入图片描述][20210223104629187.png]

## 1. 实体构造 ##

考虑以下两种结构

1.  共现结构： 两个词是否在同一个句子中
2.  共指结构： 两个提及是否指向同一个实体

这两种结构都可以**TRUE FALSE**来描述

对于**共现结构**，我们将文档分割成句子，并将它们作为显示提及交互的最小单元。我们分别表示它们是内部的和句子间的。

在**共指结构**中，“True”表示两种提及指的是同一个实体，因此需要一起进行研究和推理;“False”意味着在某些谓词下可能相互关联的一对不同的实体。  
我们将它们分别表示为coref和relate。  
综上所述，这两种结构是相互正交的，导致了四种不同的无向依赖关系，如表1所示。  
![在这里插入图片描述][20210223111915701.png]  
除了提及之间的依赖关系之外，我们进一步考虑**实体提及**与其**句子内非实体词**之间的另一种依赖关系。我们称它为**intraNE**。  
对于其他句子间的非实体词，我们假设不存在关键依赖关系，并将其归类为**NA**。  
因此，整个结构被表述为一个以实体为中心的邻接矩阵，其所有元素来自一个有限依赖集：  
\{intra+coref, inter+coref, intra+relate, inter+relate, intraNE, NA\}

## 2. SSAN ##

SSAN继承了**Transformer 编码器**的架构，它是一堆相同的块，用前馈网络、残差网络和层归一化包裹起来。作为其核心组成部分，我们提出了带有两个可选的转换模块的结构化的自我注意机制。

给定输入token  x = ( x 1 , x 2 , . . . , x n ) x = (x\_1,x\_2,...,x\_n) x=(x1,x2,...,xn)  
用 S = \{ s i j \} S=\\\{s\_\{ij\}\\\} S=\{ sij\}展示架构  
 s i j ∈ \{ i n t r a + c o r e f , i n t e r + c o r e f , i n t r a + r e l a t e , i n t e r + r e l a t e , i n t r a N E , N A \} s\_\{ij\}\\in\\\{intra+coref, inter+coref, intra+relate, inter+relate,intraNE, NA\\\} sij∈\{ intra\+coref,inter\+coref,intra\+relate,inter\+relate,intraNE,NA\}  
 s i j s\_\{ij\} sij是一个离散变量，表示 x i x\_i xi到 x j x\_j xj之间的依赖关系  
在这里，把依赖关系从提及级别扩展到token级别。  
如果提及实例包含多个子词，相应为每个token分配依赖项。  
在每次提及内，它的子词应当符合 i n t r a + c o r e f intra+coref intra\+coref  
对于每一层 l l l，输入向量 x i l ∈ R d i n x\_i^l\\in R^\{d\_\{in\}\} xil∈Rdin首先投影到Q K V向量。  
![在这里插入图片描述][20210223114014869.png]  
基于这些输入和实体结构，我们计算非结构化注意分数和结构化注意偏向，然后将它们聚合在一起来指导最终的自我注意流。

非结构化注意分数是由Q-K在标准自注意力产生。  
![在这里插入图片描述][2021022311421072.png]  
使用一个额外的模块，建模Q-K之间的结构性依赖。  
![在这里插入图片描述][20210223115010608.png]  
额外提出的这个模块，调节了从 x i x\_i xi到 x j x\_j xj的注意力流。因此，模型受益于结构性依赖的指导。

经过第三步，获得的向量，应用softmax之后，v向量聚合起来。  
![在这里插入图片描述][2021022311532020.png]  
 z i l + 1 z\_i^\{l+1\} zil\+1是更新的上下文表示。

## 3. Transformation Module ##

为了将离散结构 s i j s\_\{ij\} sij合并到一个端到端可训练的深度模型中，我们将每个 s i j s\_\{ij\} sij实例化为具有特定参数的神经层，以组合的方式训练和应用它们。

对于每个由 s i j s\_\{ij\} sij组成的输入结构S，我们有一个由相应的层参数组成的结构化模型。  
提出两种方案

1.  Biaffine Transformation
2.  Decomposed Linear Transformation

### 3.1 Biaffine Transformation ###

Biaffine Transformation 的bias计算如下。  
![在这里插入图片描述][20210223115746461.png]  
同时并有方向地，处理Q K向量。  
对于 b l , s i j b\_\{l,s\_\{ij\}\} bl,sij直接为每个依赖项建立先验偏差模型，而不依赖于其上下文。

### 3.2 Decomposed Linear Transformation ###

受Transformer如何分解word embedding和position embedding的启发，我们提出在Q向量和K向量上分别引入偏差，从而将偏差分解为：  
![在这里插入图片描述][20210223120346530.png]  
公式中，这三项分别代表：

1.  基于Q向量的偏差
2.  基于K向量的偏差
3.  早期偏差

结构化自注意力的整体计算公式为：  
![在这里插入图片描述][20210223120546754.png]  
根据上下文，由于Transformation层自适应地对结构性依赖进行建模，我们不会在不同的层或不同的注意头之间共享它们。

早期，Transformer提出输入token对的相对位置信息模型。  
他们首先将相对距离映射到embedding中，然后将它们与K向量相加，然后计算注意力得分。  
从技术上讲，这种设计可以看作是我们所分解的线性变换的简化版本，只包含查询条件偏差。

## 4. SSAN for Relation Extraction ##

该模型以文档文本为输入，在整个编码阶段的实体结构指导下构建其上下文表示。

我们简单地使用它来进行关系抽取，并进行最小设计。  
在编码阶段之后，我们通过平均池化为每个目标实体构造一个固定的维数表示，我们表示为 e i e\_i ei  
对于每个实体对，我们根据预先指定的关系模式计算关系r的概率为：  
![在这里插入图片描述][20210223121249936.png]  
模型用交叉熵损失训练模型。  
![在这里插入图片描述][20210223121312809.png]

> 我们形式化实体结构的文档级关系提取。在此基础上，我们提出了SSAN来有效地整合这些结构先验，同时交互式地执行实体的上下文推理和结构推理。  
> 在三个数据集上的性能验证了实体结构的有效性和SSAN模型的有效性。

[20210223104629187.png]: /images/20221024/d9fed5bb81d4480998d2fc257753779b.png
[20210223111915701.png]: /images/20221024/87e46cf5fa954db6a5aecf4c01b9490a.png
[20210223114014869.png]: /images/20221024/127d2b5d8b304e1eb7021270e6d85c29.png
[2021022311421072.png]: /images/20221024/5e0d01a457d24574bf6ee62cea1e5bb8.png
[20210223115010608.png]: /images/20221024/358281afea13439380cf85a33d56093a.png
[2021022311532020.png]: /images/20221024/16b951f914a64b38a3d8d86097b97fc4.png
[20210223115746461.png]: /images/20221024/0b48f4b04e154756a4188b1a6b8cceb4.png
[20210223120346530.png]: /images/20221024/60da91180bf244eeb83ceb01ea78d930.png
[20210223120546754.png]: /images/20221024/46e24ae4f2e2438d95bb13aaa971b346.png
[20210223121249936.png]: /images/20221024/064b7db1fdce410eb767d12f3bcb6037.png
[20210223121312809.png]: /images/20221024/443ba0c6c88a4c5bb83d988649fe64d8.png

【论文阅读】Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relat

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关【论文阅读】Joint Entity and Relation Extraction with Set Prediction Networks

相关【论文阅读】Improving Document-level Relation Extraction via Contextualizing Mention Representations and W

相关【论文阅读】Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relat

相关【论文阅读】An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning

相关【论文阅读】Coarse-to-Fine Entity Representations for Document-level Relation Extraction

相关【论文阅读】Learning to Prune Dependency Trees with Rethinking for Neural Relation Extraction

相关论文阅读《TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking》

相关论文阅读《Joint Extraction of Entities and Relations Based on a Novel Decompostion Strategy》

相关【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction

相关论文阅读《Exploring Task Difficult for Few-Shot Relation Extraction》