【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction

淩亂°似流年 2022-10-10 13:56 234阅读 0赞

> https://arxiv.org/pdf/2106.09895

先指出TPLinker存在的问题：为了避免曝光偏差，它利用了相当复杂的解码器，导致了稀疏的标签，关系冗余，基于span的提取能力差

作者提出新的模型，包括三部分：

1.  Potential Relation Prediction
2.  Relation-Specific Sequence Tagging
3.  Global Correspondence

对于主客体对齐，设计了一个**关系无关的全局对应矩阵**，用于确定特定的主客体。  
给定一个句子，模型先预测一个可能存在关系的子集，以及得到一个全局矩阵。  
然后执行序列标注，标注存在的主体客体。  
最后枚举所有实体对，由全局矩阵裁剪。  
尽管它引入了通常提到的曝光偏差，但是仍有优越性。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70]

## 编码器 ##

bert

## Potential Relation Prediction预测关系 ##

首先预测潜在关系的子集，只需要从这些潜在实体里提取子集。

给定embedding h，潜在关系预测模块如下：  
![在这里插入图片描述][20210628191612326.png]  
问题建模为多标签二分类任务，比如有56种关系，那就有56个sigmoid。  
如果概率超过阈值就**认为存在关系**，否则标记为0。  
接下来只需要应用抽取的子集对应的embedding，而不是所有embedding

## Relation-Specific Sequence Tagging ##

依次解码主体和客体，是因为解决实体重叠问题。  
![在这里插入图片描述][20210628192434352.png]  
因为crf无法解决实体重叠问题。不使用传统的lstm-crf做命名实体识别，而是直接上全连接。

## Global Correspondence ##

上一步获得了主体和客体，随后用一个全局通信矩阵，确定正确的实体对。  
全局通信矩阵的学习，和第二步的Potential Relation Prediction学习过程一样。  
首先列举所有可能的主客体对，同样设定超过阈值就保留，否则丢弃。  
![在这里插入图片描述][20210628193350704.png]  
三个任务联合训练  
损失函数是：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70]: /images/20221005/13b18a71abeb44e5a832462529b1f5cb.png
[20210628191612326.png]: /images/20221005/e2d7377e11a5447280ca40a25f852b17.png
[20210628192434352.png]: /images/20221005/c166f78590194b2cb608e36bba219063.png
[20210628193350704.png]: /images/20221005/fed35a237f4d4cbcb4eb3a0e2b46e2b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70 1]: /images/20221005/ed25ac2f6e1e4fe19c034e876f4099c2.png