【论文阅读】DDRQA: Dynamic Document Reranking for Open-domain Multi-hop Question Answering

逃离我推掉我的手 2022-10-19 04:08 113阅读 0赞

# DDRQA: Dynamic Document Reranking for Open-domain Multi-hop Question Answering #

> 论文：https://arxiv.org/abs/2009.07465

## 任务 ##

开放领域多跳答题(QA)需要检索多个支持性文档，其中一些文档与问题的词义重合度不高，无法直接检索，只能通过迭代文档检索来定位。然而，多步骤的文档检索往往会产生更多的相关但非支持性的文档，这就抑制了下游噪声敏感的reader模块的答案提取。为了解决这一难题，本文提出了动态文档重排序(DDR)，对文档进行迭代检索、重排序和过滤，并自适应地决定何时停止检索过程。

## 方法（模型） ##

**Dynamic Document Reranking (DDR)**

> 学习迭代检索带有更新问题的文档，重新排序和过滤文档，并自适应地决定何时停止检索过程。

通过利用多文档信息，本文的重新排序模型拥有更多的知识来区分支持性文档和不相关文档。在初始检索后，该方法在每一个检索步骤中都会用从检索文档中提取的文本跨度来更新问题，然后用更新后的问题作为查询来检索补充文档，这些文档被添加到文档图中，进行新一轮的交互。再利用重新排序模型(reranking model)对文档再次进行打分，过滤出最不相关的文档。全局控制器(global controller)检查剩余文档是否足以回答问题，并据此决定是否继续检索循环。检索完成后，将维护好的高质量的文档清单送入阅读器模块，进行答案跨度抽取。

检索方式和效果比较：

![image-20210302200420421][]

模型结构：

![image-20210302200608508][]

该系统由动态文件重新排序(DDR)阶段和回答问题阶段组成。给定一个多跳问题，DDR迭代检索、重新排序和过滤文档，并自适应地决定何时停止检索过程。在初始检索后，DDR会将提取的文本跨度作为新的查询更新问题，以在每次迭代时检索更多的文档。检索完成后，最后得分最高的文档会被送入下游的阅读器模块进行答案提取。

### Graph-based Reranking Model ###

> 用于精确识别文档图中的支持文档。

![image-20210303192902322][]

#### Contextual Encoding ####

输入到pre-trained language model的格式：  
 I q , d k = \[ C L S \] q 1 . . . q ∣ q ∣ \[ S E P \] t 1 ( k ) . . . t ∣ d k ∣ ( k ) \[ S E P \] I\_\{q,d\_k\}= \{\[CLS\] \}q\_1. . . q\_\{|q|\}\{\[SEP\]\} t^\{(k)\}\_1\{. . . \}t^\{(k)\}\_\{|dk|\}\{\[SEP\]\} Iq,dk=\[CLS\]q1...q∣q∣\[SEP\]t1(k)...t∣dk∣(k)\[SEP\]

>  ∣ q ∣ | q | ∣q∣ 和 ∣ d k ∣ | dk | ∣dk∣ 表示问题q和文档 d k d\_k dk中的token数量。

#### Graph Attention ####

*  Graph Attention Network (GAT)

采用图注意力网络来传播文档图谱上的信息，如果两个文档有共享实体，那么它们就会被连接起来。

#### Multi-document Fusion ####

为了进一步将信息传播到non-entity tokens，首先将每个entity toke的嵌入融合为:  
 t ^ j ( i ) = W 3 \[ t j ( i ) ; g i ( T ) ) \] \\hat t^\{(i)\}\_j= W\_3\[t^\{(i)\}\_j; g\_i^\{(T)\})\] t^j(i)=W3\[tj(i);gi(T))\]  
 v ^ \\hat v v^被输入到Transformer层进行多文档融合，该层更新所有token的表示并输出融合的表示向量 v ~ \\tilde\{v\} v~。

#### Document Filter and Global Controller ####

对于每个文档，使用 v ~ \\tilde\{v\} v~中的\[CLS\] token嵌入作为文档表示，将其送入二进制分类器中，对文档的支持级别进行评分。选择得分最高的前K个文档，其余文档进行筛选。如果正向段数小于超参数阈值S，全局控制器发出信号，继续检索过程。

### Reader Module ###

将问题q的tokens和最终排名前K的重新排序的文档进行串联，反馈到阅读器模块。

寻找找到最佳候选答案跨度：  
 a r g   m a x P i , j , i ≤ j i s t a r t P j e n d arg\\ max \\underset\{i,j, i≤j\}P^\{start\}\_iP^\{end\}\_j arg maxi,j,i≤jPistartPjend  
 P i s t a r t P j e n d P^\{start\}\_iP^\{end\}\_j PistartPjend表示第i和第j个token在串联文本中的开始和结束位置的概率，即答案跨度。

## 数据集 ##

**HotpotQA full wiki setting**

该数据集由113K个众包多跳问题组成，这些问题需要维基百科的介绍段落来回答。每个训练用的问题都带有两个由人工注释的黄金支持段落。

## 性能水平 ##

实验结果：

![image-20210304092847547][]

提出的reranking model在Dev和Test数据集上都表现出了最佳的效果，Paragraph效果提升最为显著。

## 结论 ##

### 消融实验 ###

*  禁用Iterative Reranking, Graph-based Reranking and Question Updater模块，段落重排序和QA性能下降较为明显。
 *  QA性能在bridge questions下降比comparison questions更显著。

本文提出的DDRQA，是一个开放领域的多跳QA系统，它可以从一个大型语料库中准确定位支持文档。DDRQA通过基于图的重排序模型对文档进行迭代检索、重排序和过滤，并在HotpotQA full wiki设置上显著优于之前的方法。

[image-20210302200420421]: /images/20221005/f225a7985c824f5cad8577307d2113ff.png
[image-20210302200608508]: /images/20221005/c94e2ccf33524697a68bb6d65d397415.png
[image-20210303192902322]: /images/20221005/b5f170859862405fa8823ccefd6321fb.png
[image-20210304092847547]: /images/20221005/91bb8cf7acde464ebbb2c9407c69e6b5.png