自然语言系列学习之表示学习与知识获取（六）融合实体描述的知识表示和融合实体所在句子的知识表示

桃扇骨 2022-10-16 08:50 74阅读 0赞

利用文本信息还有还有另外一个非常重要的来源，就是来自于实体的描述，在知识库里对一些实体构建关于它的一个简单的介绍（short description）。

这些简短的介绍，往往能够很好的反映实体的表示，它的语义信息。那我们就想有没有可能充分利用这些比较简短的描述，去更好的进行知识的表示学习。

2016年清华大学发表了一篇论文《Representation Learning of Knowledge Graphs with Entity Descriptions》，论文中利用cnn，也就是卷积神经网络（上图），去对实体描述进行表示学习，那么就可以利用它的description去构建实体的表示。这个实体的表示同时也会参与knowledge graph里面transe的学习。通过这种方式，就可以可以更好的学习得到实体关系的表示。

# Zero-shot场景下的关系预测 #

这种实体充分利用描述信息这种实体表示，它有一个非常重要的好处是，当出现一个新的实体，这个实体从来没有在knowledge graph中出现过，那么就没有办法利用transe去得到这种实体表示，我们就可以通过《Representation Learning of Knowledge Graphs with Entity Descriptions》中的cnn模型，利用实体的介绍，那么就可以自动的重建关于实体的表示。

根据上图可以看出利用重新构建的实体表示可以很好的去建立起这些实体跟知识库里已有的实体之间的关系预测。 实际上也能够取得一个相对不错的效果，也说明在zero shot scenario场景下，可以利用实体描述信息重建实体表示，能相对较好的进行关系预测。

# 融合实体所在句子的知识表示 #

在大规模互联网上实际更多是在用同时出现两个实体的句子，前面所提到的每一个实体，可以利用它们的描述信息辅助的进行知识表示。

假设这些实体描述信息存在互联网文本数据中，清华大学团队认为在互联网上出现的那些某一个实体的句子，实际上也有可能帮助我们进行实体的表示学习。清华大学团队构建出如下图的模型：

这个模型的特点是说每一个实体一方面用knowledge graph去学习，它基于知识库的表示，同时也会考虑，这些实体表示有没有可能来自于文本里的每一个句子，利用这些句子构建出来的低维向量表示，形成来自文本的表示。它问题在于比如说一个实体，并不是在互联网上出现的每一个句子都能够很好的反映实体的语义信息，而我们希望能达到的效果是，如economics出现在三句话里（上上图），根据这三句话能够反映实体的语义信息的情况，给予不同的权重。所以（上图中）特意给每一个不同的句子不同的权重，这个权重跟这个实体通过knowledge graph学习表示有密切的关系。 通过这种方式，有一个非常有意思的发现，就是可以利用modfiy graph ，为实体本身寻找在互联网中更有代表性的描述，如下图中的几个词

每个实体都找权重最高的句子，这些句子都能够很好的反映实体的语义信息，这个方法未来有潜力在构建知识图谱的时候能为新的实体自动寻找他们可能的比较好的，比较有代表性的description。 上面是介绍了几个融合文本和知识进行关系抽取的方法。