Python实现基于卷积深度神经网络的关系分类

我不是女神ヾ 2023-10-15 12:29 36阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268052  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268052

## 基于卷积深度神经网络的关系分类 ##

用于关系分类的最先进的方法主要基于统计机器学习，并且它们的性能很大程度上取决于提取的特征的质量。提取的特征通常来自预先存在的自然语言处理（NLP）系统的输出，这导致错误在现有工具中的传播和阻碍这些系统的性能。在本文中，我们利用卷积深度神经网络（DNN）提取词法和句子级别的功能。我们的方法将所有单词标记作为输入没有复杂的预处理。首先，单词标记被转换为向量查找单词嵌入。然后，根据给定的词汇级别特征提取名词。同时，使用卷积方法学习句子级特征。这些连接两个级别的特征以形成最终提取的特征向量。最后，将这些特征输softmax分类器以预测两个标记名词之间的关系。该实验结果表明，我们的方法明显优于最先进的技术。

论文来源: https://www.aclweb.org/anthology/C14-1220

#### 简介 ####

关系分类的任务是预测名称和可以对之间的语义关系定义如下：给定带有带注释的名义对e1和e2的句子S，我们的目标确定e1和e2之间的关系。人们对此非常感兴趣自动关系分类，既作为目的本身，又作为各种NLP的中间步骤应用。最具代表性的关系分类方法使用监督范式;这样的方法已被证明是有效的，并产生相对较高的性能。监督方法进一步划分基于特征的方法和基于内核的方法。基于特征的方法使用一组功能在进行文本分析后选择。他们将这些功能转换为符号ID，即然后使用类似于词袋模型2的范例转换为矢量。反过来，基于内核的方法需要以解析树的形式（例如依赖性）预处理输入数据解析树。这些方法很有效，因为它们利用了大量的语言知识。但是，提取的特征或精心设计的内核通常来自预先存在的NLP系统的输出，这导致错误在现有工具中传播并阻碍这种系统的性能。考虑提取特征是有吸引力的这与现有的NLP工具无关。为了识别名词对之间的关系，有必要巧妙地将词汇和词汇结合起来从句子中不同的句法和语义结构的句子级线索。例如，在句子“\[火\] e1 WTC内部是由\[燃料\] e2爆炸引起的“，以确定火灾和燃料是在因果关系，我们通常利用标记的名词和整个句子的含义。

论文中，利用卷积DNN来提取关系的词汇和句子级别特征分类。我们的方法将所有单词标记作为输入，无需复杂的预处理，例如词性（POS）标记和句法分析。首先，所有单词标记都被转换通过查找单词嵌入到矢量。然后，根据提取词汇级别特征给出名词。同时，使用卷积方法学习句子级特征。这两个级别特征被连接以形成最终提取的特征向量。最后，功能是feed进入softmax分类器来预测两个标记名词之间的关系。可以认为是一个多类别的分类问题，导致不同的目标函数。此外，关系分类被定义为将关系标签分配给单词对。因此有必要指定我们期望分配关系标签的单词对, 为此目的，利用位置特征（PF）来编码与目标名词对的相对距离。

在无监督范例中，使用了上下文特征。分布假设理论表明在相同的上下文中出现的词往往具有相似的含义。因此，它是假设在类似情境中出现的名义对往往具有相似的关系, 通常，可以对这些方法进行分类分为两种型：基于特征和基于内核。在基于特征的方法中，有多种策略已经被利用来将分类线索（例如序列和解析树）转换为特征载体。基于特征的方法遇到了这个问题在将结构化表示转换为特征向量时选择合适的特征集。基于内核的方法提供了一种自然的替代方法，可以利用输入分类线索的丰富表示，例如句法分析树。基于内核的方法允许使用大量功能没有明确提取功能。各种内核，如卷积树内核，子序列内核和依赖树内核，已经提出解决关系分类问题。但是，方法上面提到的缺乏足够的标记数据用于训练。

神经网络体系结构采用输入句子并发现多级别的特征提取，其中更高的级别代表输入的更抽象的方面。它主要包括以下三个组件：Word表示，特征提取和输出。该系统不需要任何复杂的句法或语义预处理，系统的输入是一个带有两个标记名词的句子。然后，通过查找单词嵌入将单词标记转换为向量。相继，词汇和句子级别特征分别被提取然后直接连接以形成最终特征向量。最后，为了计算每个关系的置信度，将特征向量馈softmax分类。分类器的输出是一个向量，其维数等于预定义关系类型。每个维度的值是相应的置信度得分关系。

#### 词表示 ####

在单词表示组件中，通过查看将每个输入单词标记变换为向量单词嵌入。 从重要的角度学习的嵌入词未标记数据的数量远比随机初始化的嵌入更令人满意。关系分类，应该首先集中精力学习具有歧视性的词汇嵌入，其中携带更多句法和语义信息，使用大量未标记的数据。不幸的是，它通常需要很长时间来训练嵌入词。但是，有许多经过训练的单词嵌入免费提供。可用单词嵌入的比较是超越的本文的范围。我们的实验直接利用了Turian等人提供的训练嵌入人 .

#### 词汇级功能 ####

词汇级别功能是决定关系的重要线索。传统的词汇级别功能主要包括名词本身，名词对的类型和之间的单词序列实体，其质量在很大程度上取决于现有NLP工具的结果。或者，本文使用通用字嵌入作为基本特征的来源。我们选择嵌入这个词标记名词和上下文标记。而且WordNethypernyms被采纳为MVRNN。所有这些功能都连接到我们的词汇级别特征向量。

#### 句子级别功能 ####

所有标记都表示为单词向量，已被证明与人类对单词相似性的判断有很好的相关性。尽管他们取得了成功，但单字矢量模型受到严重限制，因为它们不能捕捉长距离特征和语义成分，这是自然语言的重要品质，使人类能够理解其意义一个更长的表达。在本节中，我们提出了一种最大池化卷积神经网络句子级别表示并自动提取句子级别的功能。WindowProcessing组件中，每个标记都是进一步的表示为单词特征（WF）和位置特（PF）。然后，矢量通过卷积分量。最后，我们通过a获得句子级别的特征非线性变换。

#### 单词功能 ####

分布假设理论指出，在同一背景下出现的词语倾向于有类似的含义。为了捕捉这个特征，WF结合了一个单词的矢量表示以及其上下文中单词的向量表示。假设我们有以下顺序的话。

位置特征关系分类是一项非常复杂的任务。传统上，结构特征（例如，名词之间的最短依赖路径）用于解决该问题。显然， 仅通过WF无法捕获此类结构信息。有必要指定哪个 输入标记是句子中的目标名词。为此，建议PF用于关系分类。在本文中，PF是当前单词与w1和w1的相对距离的组合 W2。

#### 卷积 ####

我们将看到单词表示方法可以通过窗口中的向量组合来捕获上下文信息。但是，它只会在句子的每个单词周围产生局部特征。 在关系分类中，用目标名词标记的输入句子仅对应于关系类型而不是预测每个单词的标签。因此，可能有必要利用所有的 本地特征和预测全球关系。当使用神经网络时，卷积方法是一个 自然方法合并所有功能。我们首先处理输出 使用线性变换的窗口处理。

#### 参数设置 ####

我们通过实验研究了我们提出的方法中三个参数的影响：卷积分量w中的窗口大小，隐藏层1的数量和数量隐藏层 2.由于没有官方开放数据集，我们通过尝试调整了超参数通过5倍交叉验证的不同架构。我们分别改变超参数w，n1和n2的数量并计算F1。我们可以看到，当窗口大小大于3时，它不会改善性能。此外，因为我们的训练数据集的大小有限，所以网络容易过度拟合，尤其是当使用大型隐藏层。我们可以看到参数对数据的影响有限增加隐藏层1和2的数量时的结果。因为距离维度有对结果影响不大，我们启发式地选择de = 5.最后，单词维度和学习率与Collobert等人的相同。

为了获得我们自动学习的功能的最终性能，我们选择七种方法作为竞争对手，与表3中的方法进行比较。前五个竞争对手在Hendrickx中描述等。所有这些都使用传统特征并使用SVM或MaxEnt作为分类器。这些系统设计一系列功能并利用各种资源。 RNN表示用于关系分类的递归神经网络，如: 由Socher等人提出。 此方法在连接两个的语法树路径中学习向量名人确定他们的语义关系。 MVRNN模型构建单个组合最小成分的语义，包括两个名称为RNN。它几乎肯定太过于期望单个固定转换能够捕获意义组合所有自然语言运营商的影响。因此，MVRNN为每个单词分配一个矩阵并修改其他单词的含义，而不是仅仅考虑递归过程中的单词嵌入。

#### 结论 ####

在论文中，我们利用卷积深度神经网络（DNN）来提取词汇和句子关系分类的级别特征。在网络中，成功提出了位置特征（PF）指定我们期望分配关系标签的名义对。系统获得一个添加PF时显着改善。自动学习的功能可产生出色的效果并且可以取代基于现有NLP工具输出的精心设计的功能 !

#### 模型调试结果 ####

![7b8c0ba29df54015a95b4c8dbd9709e5.png][]  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268052  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268052

[Link 1]: https://download.csdn.net/download/sheziqiong/88268052
[7b8c0ba29df54015a95b4c8dbd9709e5.png]: https://img-blog.csdnimg.cn/7b8c0ba29df54015a95b4c8dbd9709e5.png