知识图谱与推荐系统之《Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation》MKR

Love The Way You Lie 2022-02-03 06:17 704阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70]  
依次训练的方法主要有：Deep Knowledge-aware Network(DKN)

联合训练的方法主要有：Ripple Network

交替训练主要采用multi-task的思路，主要方法有：Multi-task Learning for KG enhanced Recommendation (MKR)

上上一篇介绍了依次训练的[DKN][]模型，上篇介绍了联合训练的[RippleNet][]模型。这次介绍交替训练的MKR模型。

推荐系统和知识图谱特征学习的交替学习类似于多任务学习的框架。该方法的出发点是推荐系统中的物品和知识图谱中的实体存在重合，因此两个任务之间存在相关性。将推荐系统和知识图谱特征学习视为两个分离但是相关的任务，采用多任务学习的框架，可以有如下优势：

1.  两者的可用信息可以互补；
2.  知识图谱特征学习任务可以帮助推荐系统摆脱局部极小值；
3.  知识图谱特征学习任务可以防止推荐系统过拟合；
4.  知识图谱特征学习任务可以提高推荐系统的泛化能力。

# 模型 #

MKR的模型框架如下，其中左侧是推荐任务，右侧是知识图谱特征学习任务。

> **推荐部分**使用用户和物品的特征表示作为输入，预测的点击概率作为输出。
> 
> **知识图谱特征学习部分**使用一个三元组的头结点和关系表示作为输入，预测的尾节点表示作为输出。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 1]

由于推荐系统中的物品和知识图谱中的实体存在重合，所以两个任务并非相互独立。作者在两个任务中设计了交叉特征共享单元（cross-feature-sharing units）作为两者的连接纽带。

交叉特征共享单元是一个可以让两个任务交换信息的模块。由于物品向量和实体向量实际上是对同一个对象的两种描述，他们之间的信息交叉共享可以让两者都获得来自对方的额外信息，从而弥补了自身的信息稀疏性的不足。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 2]

# [论文][Link 1] #

## 0 摘要 ##

协作过滤通常在实际推荐场景中存在稀疏性和冷启动问题，因此，研究人员和工程师通常使用辅助信息来解决问题并改善推荐系统的性能。在本文中，我们将知识图视为辅助信息的来源。我们提出MKR，一种用于知识图增强推荐的多任务特征学习方法。 MKR是一个深入的端到端框架，利用知识图嵌入任务来协助推荐任务。这两个任务由交叉和压缩单元相关联，交叉和压缩单元自动共享潜在特征并学习推荐系统中的项目与知识图中的实体之间的高阶交互。我们证明了交叉和压缩单元具有足够的多项式逼近能力，并表明MKR是推荐系统和多任务学习的几种代表性方法的通用框架。通过对现实世界数据集的大量实验，我们证明了MKR在电影，书籍，音乐和新闻推荐方面取得了实质性的进步，超过了比较新的模型。即使用户项目交互稀疏，MKR也能够保持良好的性能。

## 1 介绍 ##

我们提出MKR，一种用于知识图增强推荐的多任务学习（MTL）方法。 MKR是一个通用的端到端深度推荐框架，旨在利用KGE任务来协助推荐任务。注意，这两个任务不是相互独立的，而是高度相关的，因为RS中的物品item可以与KG中的一个或多个实体相关联。因此，项目及其对应的实体可能在RS和KG中具有类似的邻近结构，并且在低级别和非任务特定的潜在特征空间中共享相似的特征。我们将进一步验证实验部分的相似性。为了模拟项目和实体之间的共享功能，我们在MKR中设计了一个交叉和压缩单元。交叉和压缩单元明确地模拟项目和实体特征之间的高阶交互，并自动控制两个任务的交叉知识转移。通过交叉和压缩单元，项目和实体的表示可以相互补充，协助两个任务避免拟合噪声和改进泛化。整个框架可以通过交替优化不同频率的两个任务来训练，这使得MKR在实际推荐场景中具有高度的灵活性和适应性。

## 2 模型介绍 ##

### 2.1 问题描述 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 3]

### 2.2 框架 ###

MKR的框架如图a所示。 MKR由三个主要组件组成：推荐模块，KGE模块和交叉和压缩单元。

> （1）左侧的推荐模块将用户和物品输入，并使用多层感知器（MLP）和交叉和压缩单元分别为用户和项目提取短和密集的特征。  
> 然后将提取的特征一起送到另一个MLP中以输出预测的概率。
> 
> （2）与左侧部分类似，右侧部分的KGE模块也使用多个层感知器和交叉和压缩单元学习头部实体向量和关系向量，并在分数函数 f  
> 的监督下输出预测尾部实体向量。
> 
> （3）推荐模块和KGE模块由专门设计的交叉和压缩单元桥接。交叉单元可以自动学习KG中推荐系统和实体中物品的高阶特征交互。

### 2.3 交叉单元 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 5]  
应该注意的是，交叉和压缩单元应该只存在于MKR的低层，如图a所示。 这是因为：

> （1）在深层体系结构中，特征通常沿着网络从一般转换为特定，并且随着任务差异性的增加，特征可转移性在较高层中显着下降。因此，共享高层可能会带来负面转移，特别是对于MKR中的异构任务。  
> （2）在MKR的高级层中，物品特征与用户特征混合，实体特征与关系特征混合。 混合特征不适合共享，因为它们没有明确的关联。

### 2.4 Recommendation Module ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 6]

### 2.5 Knowledge Graph Embedding Module ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 7]

### 2.6 损失函数 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 8]

### 2.7 训练流程 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 9]

# 思考 #

交替学习是一种较为创新和前沿的思路，其中如何设计两个相关的任务以及两个任务如何关联起来都是值得研究的方向。从实际运用和时间开销上来说，交替学习是介于依次学习和联合学习中间的：训练好的知识图谱特征学习模块可以在下一次训练的时候继续使用（不像联合学习需要从零开始），但是依然要参与到训练过程中来（不像依次学习中可以直接使用实体向量）。

知识图谱作为推荐系统的一种新兴的辅助信息，近年来得到了研究人员的广泛关注。未来，知识图谱和时序模型的结合、知识图谱和基于强化学习的推荐系统的结合、以及知识图谱和其它辅助信息在推荐系统中的结合等相关问题仍然值得更多的研究。欢迎感兴趣的同学通过留言与我们互动沟通。

# 参考： #

原文：[https://arxiv.org/abs/1901.08907][Link 1]  
博客：[https://www.cnblogs.com/niuxichuan/p/9318122.html][https_www.cnblogs.com_niuxichuan_p_9318122.html]  
代码：[https://github.com/hwwang55/MKR][https_github.com_hwwang55_MKR]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70]: /images/20220203/b2240d9dddf64aa2a4df4602cae69a86.png
[DKN]: https://blog.csdn.net/qq_40006058/article/details/89678866
[RippleNet]: https://blog.csdn.net/qq_40006058/article/details/89742816
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 1]: /images/20220203/be40b0e9ced24db4892957567d2d2e5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 2]: /images/20220203/51c71a69aef04fb19f39fe2ee616ef99.png
[Link 1]: https://arxiv.org/abs/1901.08907
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 3]: /images/20220203/5ba829df26594ad0aa67c113140fb53e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 4]: /images/20220203/61d9d6dce8c04fd3a836a74bbc7efe49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 5]: /images/20220203/479b5f9766784c82abf9635e6064354e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 6]: /images/20220203/6807761681c84037b161a0a2c4fa903c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 7]: /images/20220203/6a44a8295f784fbcb946077286e39039.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 8]: /images/20220203/7121c07ae2714f168c752fe6874f783f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 9]: /images/20220203/181d68d052df4841a03d1f3ad611b93b.png
[https_www.cnblogs.com_niuxichuan_p_9318122.html]: https://www.cnblogs.com/niuxichuan/p/9318122.html
[https_github.com_hwwang55_MKR]: https://github.com/hwwang55/MKR