《Collaborative Memory Network for Recommendation Systems》推荐系统之协同记忆网络CMN

àì夳堔傛蜴生んèń 2022-02-03 08:59 224阅读 0赞

![在这里插入图片描述][20190509085818803.png]

# [论文][Link 1] #

## 0 摘要 ##

推荐系统在使用户在现代在线平台中使用个性化内容方面发挥着至关重要的作用。深度学习已经彻底改变了许多研究领域，并且最近对将其应用于协同过滤（CF）的兴趣激增。然而，现有方法与潜在因子模型构成了深度学习架构，忽略了一大类CF模型，邻域或基于记忆的方法。

我们提出了协同存储网络（CMN），这是一种深层架构，用于统一两类CF模型，以非线性方式利用潜在因子模型的全局结构和和邻域模型局部结构的优势。在Memory Networks的成功推动下，我们将记忆组件和神经注意机制融合为邻域组件。关联寻址用户和物品存储器在记忆模块中编码复杂的用户 - 物品关系与神经注意机制相结合，以学习用户物品特定的邻域。最后，输出模块利用用户和物品记忆开发邻域来产生排名分数。

堆叠多个记忆模块产生更深层次的架构捕获日益复杂的用户 - 物品关系。而且，我们表明CMN组件，记忆网络和三类CF模型之间的紧密联系。综合实验结果证明了CMN对三个公开的有效数据集的表现优于竞争基准。注意力量的定性可视化提供了对模型的洞察力推荐过程并建议存在更高阶互动。

## 1 引言 ##

CF模型可以分为3类。

> **基于邻域的方法**：包含基于物品的和基于用户的，该方法根据用户的历史行为，计算物品与用户之间的相似度来进行top-k推荐，只使用了局部的结构，而忽略了很多全局的信息。  
> **基于隐向量的方法**：常用的就是矩阵分解及其变体。将用户与物品表示成一个大小为n*m的评分评分矩阵，由于评分矩阵是稀疏的，可以将其转换成n*k的用户矩阵与k\*m的物品矩阵相乘。这种做法虽然考虑了全局的信息，但是忽略了一些比较强的局部联系。  
> **混合模型**：对上述两个模型的改进，常用的有因子分解机和SVD++方法。

在使用CF模型推荐时，我们通常需要关注两点：

1.  需要考虑**全局**的信息，充分利用整个评分矩阵。
2.  需要考虑**局部**的信息，考虑用户或者物品之间的相似性。相似性高的用户或者物品给予更高的权重。

作者提出了一种混合模型，该模型利用记忆网络和注意力机制用于具有隐式反馈的协同过滤。

**记忆组件**允许读写操作来编码内部存储中复杂的用户和物品关系。 关联寻址方案充当最近邻域模型，基于自适应用户物品状态来发现语义上类似的用户。

**神经注意机制**对具有相似偏好的用户的特定子集施加更高权重。

最后，根据局部信息与全局信息之间的非线性变换计算**排名分数**。

## 2 COLLABORATIVE MEMORY NETWORK ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70]

### 2.1 User Embedding ###

对于预测用户 u u u对于物品i的评分。我们首先会得到历史上所有跟物品i有反馈的用户集合，我们称作 N ( i ) N(i) N(i)。接下来，我们要计算目标用户 u u u和 N ( i ) N(i) N(i)中每个用户的相关性，基于公式(1)：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 1]

### 2.2 Neighborhood Attention ###

通过一个softmax操作转换为和为1的权重向量，参考公式（2）  
![在这里插入图片描述][20190513152350915.png]  
根据（2）得到的权重向量，通过公式（3）可以得到输出向量：  
![在这里插入图片描述][20190513152518213.png]

### 2.3 Output Module ###

根据公式（4）计算用户 u u u对物品 i i i的评分  
![在这里插入图片描述][20190513154411156.png]  
括号中的第一项是用户的记忆 m u m\_u mu和物品的记忆 e i e\_i ei进行的 element-wise 相乘操作，这相当于矩阵分解的思想，即考虑了全局的信息。第二项相当于是按照基于邻域的思路得到的一个输出向量，即考虑了局部的相关用户的信息。最终经过激活函数 φ φ φ和输出层得到最终的预测评分。

### 2.4 Multiple Hops ###

CMN模型可以扩展为多层结构。在每一层，记忆是不变的，变化的主要是权重向量。每一层的权重向量计算公式如（6）  
![在这里插入图片描述][201905131643590.png]

![在这里插入图片描述][20190513164437957.png]  
其中， z u i 0 = m u + e i z^0\_\{ui\}=m\_u + e\_i zui0=mu\+ei

### 2.5 Parameter Estimation ###

采取pair-wise的方式，训练时每次输入一个正样本得到一个评分，输入一个负样本得到一个评分，我们希望正样本的得分远大于负样本的得分。这种形式我们称为Bayesian Personalized Ranking (BPR) optimization criterion，见公式（7）  
![在这里插入图片描述][20190513165106738.png]  
其中， σ ( x ) = 1 / ( 1 + e x p ( − x ) ) \\sigma(x) = 1 / (1 + exp(-x)) σ(x)=1/(1\+exp(−x))

## 贡献 ##

1） 基于记忆网络的成功经验，提出了一种解决隐式协同过滤问题的协同记忆网络(CMN)。CMN增强了外部记忆和神经注意力机制。记忆模块的关联寻址方案作为识别相似用户的最近邻模型。该注意力机制根据特定的用户和物品学习用户邻域的自适应非线性加权。输出模块利用自适应邻域状态与用户、物品记忆之间的非线性相互作用，推导出推荐值。

2）揭示了CMN与两类重要的协同过滤模型之间的联系：隐含因子模型和基于邻域的相似度模型。进一步，我们揭示了非线性积分融合两种模型的优点，得到了一个混合模型。

3）在三个公共数据集上的综合实验证明了CMN在七个对比基线上的有效性。多个实验配置证实了记忆模块的额外好处。

4）注意力权重的定性可视化提供了对记忆组件的深入了解，为更深层次的体系结构捕获更高阶的复杂交互提供了支持证据。

# 参考： #

论文原文：[https://arxiv.org/pdf/1804.10862.pdf][Link 1]  
代码：[https://github.com/tebesu/CollaborativeMemoryNetwork][https_github.com_tebesu_CollaborativeMemoryNetwork]  
博客：[https://www.cnblogs.com/shenxiaolin/p/10610997.html][https_www.cnblogs.com_shenxiaolin_p_10610997.html]

[20190509085818803.png]: /images/20220203/2828b86d04e2441792362a52e00396dd.png
[Link 1]: https://arxiv.org/pdf/1804.10862.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70]: /images/20220203/55f9a7c2f0fd455fb5258d39a04c4de1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA2MDU4_size_16_color_FFFFFF_t_70 1]: /images/20220203/e8724131d3414ee38ba00d8662b1d3d2.png
[20190513152350915.png]: /images/20220203/271d2a2eeb9d4c9ea007c831f46858df.png
[20190513152518213.png]: /images/20220203/46343ee26c3c4de59b07912339158df8.png
[20190513154411156.png]: /images/20220203/5e93b5e2ec9f46d9bc8da08c699dd4f2.png
[201905131643590.png]: /images/20220203/fae40b1929b742c3bc7e526a72d2ae74.png
[20190513164437957.png]: /images/20220203/9dd12b70bbbc4708b15d4ce1afdf85f3.png
[20190513165106738.png]: /images/20220203/40b266c1077b4fd490df9ff18d667053.png
[https_github.com_tebesu_CollaborativeMemoryNetwork]: https://github.com/tebesu/CollaborativeMemoryNetwork
[https_www.cnblogs.com_shenxiaolin_p_10610997.html]: https://www.cnblogs.com/shenxiaolin/p/10610997.html