推荐算法中LFM模型

浅浅的花香味﹌ 2022-03-28 10:24 147阅读 0赞

> **文章最前**： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人[github][] ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。

**相关文章：**

1.  [协同过滤推荐算法和基于内容推荐算法的区别？][Link 1]
2.  [推荐算法的分类][Link 2]
3.  [推荐算法中LFM模型][LFM]

--------------------

### 工业届个性化召回架构，个性化召回算法LFM（latent factor model）综述 ###

### **1) LFM算法与CF算法的优缺点的比较：** ###

LFM是比较传统的监督学习方法，根据训练样子的label设定损失函数，利用最优化的方法使损失函数最小，不过这里的特征是隐特征，不像其他的模型。

Item CF是基于公式间求解相似度矩阵，相同来说，缺乏学习的过程；

**空间复杂度**：ItemCF,需要的空间 = 物品数^2;

而LFM只是存储user向量和Item向量，需要空间复杂度=用户数\*隐类数+物品数\*隐类数；

**时间复杂度：** itemCF：M个用户平均点击次数K，计算Item的相似度，时间复杂度=M\*K\*K

假设D样本，迭代N次，F为隐类的个数，那么LFM训练的时间复杂度=D\*F\*N

### **2) 在线推荐和推荐解释：** ###

ItemCF可以将item sim的举证写到redis或者内存，线上实时点击，可以做到较好的用户响应行为；

LFM由于得到了User和Item向量，计算用户的toplike物品时候，如果推荐系统的总量很大，那么就要将每一个item的向量做点乘运算，复杂度比较高，也比较耗时，得到了用户toplike之后，写入到Redis当中，线上系统访问系统的时候，直接推荐toplike链表，但是实时性稍微差一点。

LFM算法的应用背景：

1） 计算用户toplike

2） 计算item的topsim

3） 计算item的topic

**3) LFM算法的背景：**

item产生的越多，就使得两个集合越来越相似

### **4) 协同过滤算法的缺点：** ###

1）用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确（即稀疏性问题）;

2）随着用户和商品的增多，系统的性能会越来越低;

3）如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐（即最初评价问题）。

LFM模型，首先就是根据模型：1代表很喜欢，0代表不喜欢

1）学生-潜在因子矩阵Q：

2）潜在因子-题目矩阵P：

利用这两个矩阵，我们能得到学生A对题目1的喜欢程度：

题目1的难度程度：

即可，最后得到：0.6\*0.4+0.9\*0.8+0.3\*0.6+0.2\*0.4=1.22；

每个用户对每首歌这样计算可以得到不同学生对不同题目的评分矩阵R：

矩阵表示：R=Q\*PT

那么这个题目的重点：潜在因子是怎么得到问题：

我们沿用了量化标准：重复做题目=5；分享题目=3；收藏题目=2；做完题目=1；跳过=-2；拉黑=-5；

在分析职能获取的实际评分矩阵R，也就是这样子：

实际上这是一个非常稀疏的矩阵，因为大部分用户只做过题库中题目很少一部分。如何利用这个矩阵去找潜在因子？这个要用到矩阵的UV分解。也就是将评分矩阵分解为两个低维度的矩阵，用Q和P的乘法去估计实际的评分矩阵，而且我们希望估计的评分矩阵R.

和实际的评分矩阵不要相差太多，就是求解下面的目标函数：minp,q(Rui-qipuT)

这里涉及到最优理论，在实际应用中，往往还要在后面加上2范数的罚项，然后利用梯度下降就可以求出P，Q两个矩阵的估计值。

得到这两个矩阵P,Q之后，两个矩阵相乘就是估计的得分矩阵：

将用户已经做过的题目剔除后，选择分数最高题目的推荐给学生即可。

在这个例子中里面学生2和学生3有强的相似性：

从推荐的结果来看，正好推荐的是对方评分比较高的题目:

**5) 推导过程：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p5MzQ1MjkzNzIx_size_16_color_FFFFFF_t_70][]

[github]: https://github.com/zhangyu345293721
[Link 1]: https://blog.csdn.net/zy345293721/article/details/83117220
[Link 2]: https://blog.csdn.net/zy345293721/article/details/83241970
[LFM]: https://blog.csdn.net/zy345293721/article/details/86222719
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p5MzQ1MjkzNzIx_size_16_color_FFFFFF_t_70]: /images/20220328/b94427bbc82744b89495b42a7f227198.png