推荐系统之隐语义模型

红太狼 2022-04-22 00:06 163阅读 0赞

**（作者：陈玓玏）**

## 1、 原理 ##

隐语义模型的英文是LFM（latent factor model），其实该算法最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI、pLSA、LDA和Topic Model。其核心思想是学习隐含用户和物品间隐含的特征，通过隐含特征来计算用户对商品的兴趣度。

那么，我们具体怎么计算每个用户对每个商品的兴趣度呢？先写出用户对商品的兴趣度矩阵：  
 R = ( r 11 r 12 r 13 ⋯ r 1 k r 21 r 22 r 23 ⋯ r 2 k ⋮ ⋮ ⋮ ⋱ ⋮ r n 1 r n 2 r n 3 ⋯ r n k ) R = \\begin\{pmatrix\} r\_\{11\} & r\_\{12\} & r\_\{13\} & \\cdots & r\_\{1k\} \\\\ r\_\{21\} & r\_\{22\} & r\_\{23\} & \\cdots & r\_\{2k\} \\\\ \\vdots & \\vdots & \\vdots & \\ddots & \\vdots \\\\ r\_\{n1\} & r\_\{n2\} & r\_\{n3\} & \\cdots & r\_\{nk\} \\\\ \\end\{pmatrix\} R=⎝⎜⎜⎜⎛r11r21⋮rn1r12r22⋮rn2r13r23⋮rn3⋯⋯⋱⋯r1kr2k⋮rnk⎠⎟⎟⎟⎞  
矩阵中的每一项 r u i r\_\{ui\} rui表示用户 u u u对商品 i i i的兴趣度。我们可以把这个矩阵拆分成两个矩阵：  
 R = ( p 11 p 12 p 13 ⋯ p 1 f p 21 p 22 p 23 ⋯ p 2 f ⋮ ⋮ ⋮ ⋱ ⋮ p n 1 p n 2 p n 3 ⋯ p n f ) ( q 11 q 12 q 13 ⋯ q 1 k q 21 q 22 q 23 ⋯ q 2 k ⋮ ⋮ ⋮ ⋱ ⋮ q f 1 q f 2 q f 3 ⋯ q f k ) R = \\begin\{pmatrix\} p\_\{11\} & p\_\{12\} & p\_\{13\} & \\cdots & p\_\{1f\} \\\\ p\_\{21\} & p\_\{22\} & p\_\{23\} & \\cdots & p\_\{2f\} \\\\ \\vdots & \\vdots & \\vdots & \\ddots & \\vdots \\\\ p\_\{n1\} & p\_\{n2\} & p\_\{n3\} & \\cdots & p\_\{nf\} \\\\ \\end\{pmatrix\} \\begin\{pmatrix\} q\_\{11\} & q\_\{12\} & q\_\{13\} & \\cdots & q\_\{1k\} \\\\ q\_\{21\} & q\_\{22\} & q\_\{23\} & \\cdots & q\_\{2k\} \\\\ \\vdots & \\vdots & \\vdots & \\ddots & \\vdots \\\\ q\_\{f1\} & q\_\{f2\} & q\_\{f3\} & \\cdots & q\_\{fk\} \\\\ \\end\{pmatrix\} R=⎝⎜⎜⎜⎛p11p21⋮pn1p12p22⋮pn2p13p23⋮pn3⋯⋯⋱⋯p1fp2f⋮pnf⎠⎟⎟⎟⎞⎝⎜⎜⎜⎛q11q21⋮qf1q12q22⋮qf2q13q23⋮qf3⋯⋯⋱⋯q1kq2k⋮qfk⎠⎟⎟⎟⎞  
这样拆分的意义在于，将物品分为 f f f个类，矩阵 P P P的每一行表示每个用户对每个类的兴趣，矩阵 Q Q Q的每一行表示每一类与每个商品之间的关联性，相当于如果用户对某一类主题兴趣度非常大，那么对这一类主题相关性最高的物品就能够获得用户最大的兴趣。

## 2、 取样 ##

那么接下来的问题就是，我们怎么求解这两个矩阵？还是那个思路，用梯度下降法来求解。这时候有一个关于训练集的问题需要讨论。如果我们分析的是显性反馈，即输出的结果是预测用户对物品的评分，那么我们可以直接把用户把评分作为Y值，使用损失函数，把上面的参数代入损失函数求解即可。但是如果我们分析的隐性反馈，则样本的选取上会更复杂一些。正样本很容易获得，只需要选用户有正反馈的即可，但是负样本的选择更麻烦些，书中作者给出的比较好的方案有两个负样本选择的条件：  
1） 对于每个用户，要保证正负样本选择均衡，也就是有正反馈的和没有的物品数量要相当；  
2） 对于每个用户，负样本要选取热门但用户没有正反馈的物品，因为冷门物品没有正反馈不排除是因为物品未触达用户。

## 3、 损失函数及参数更新 ##

样本选取完毕后，我们需要写出损失函数，这里采用RMSE损失函数，并加入了正则项，公式如下：  
 C o s t = ∑ ( u , i ) ∈ K ( r u i − ∑ f = 1 k p u f q f i ) 2 + λ ∣ ∣ p u ∣ ∣ 2 + λ ∣ ∣ q i ∣ ∣ 2 Cost = \\sum\_\{(u,i)\\in K\}(r\_\{ui\}-\\sum\_\{f=1\}^\{k\}p\_\{uf\}q\_\{fi\})^2+\\lambda||p\_u||^2+\\lambda||q\_i||^2 Cost=(u,i)∈K∑(rui−f=1∑kpufqfi)2\+λ∣∣pu∣∣2\+λ∣∣qi∣∣2  
式中 K K K是用户-商品对 ( u , i ) (u,i) (u,i)的集合， r u i = 1 r\_\{ui\}=1 rui=1时表示正样本， r u i = 0 r\_\{ui\}=0 rui=0时表示负样本，这里的 λ \\lambda λ是惩罚因子，用来防止过拟合的，通常是 λ \\lambda λ较大的时候不容易过拟合，但是具体的值可以通过实验获得。

确定了损失函数之后，我们就可以用梯度下降法来求解参数了。书中写的偏导求解结果如下：  
![在这里插入图片描述][20181031221355255.]  
它的下标 k k k是我的 f f f。但我觉得这个导数求得好像有点不对。。。主要是第一项关于真实值和预测值之间的那个结果不对。。照我的理解，偏导求解结果至少应该是下面这样的：  
 ∂ C ∂ p u f = 2 ∑ ( u , i ) ∈ K ( r u i − ∑ f = 1 k p u f q f i ) q f i + 2 λ p u f \\frac\{\\partial C\}\{\\partial p\_\{uf\}\} = 2\\sum\_\{(u,i)\\in K\}(r\_\{ui\}-\\sum\_\{f=1\}^\{k\}p\_\{uf\}q\_\{fi\})q\_\{fi\}+2\\lambda p\_\{uf\} ∂puf∂C=2(u,i)∈K∑(rui−f=1∑kpufqfi)qfi\+2λpuf  
 ∂ C ∂ q f i = 2 ∑ ( u , i ) ∈ K ( r u i − ∑ f = 1 k p u f q f i ) p u f + 2 λ q f i \\frac\{\\partial C\}\{\\partial q\_\{fi\}\} = 2\\sum\_\{(u,i)\\in K\}(r\_\{ui\}-\\sum\_\{f=1\}^\{k\}p\_\{uf\}q\_\{fi\})p\_\{uf\}+2\\lambda q\_\{fi\} ∂qfi∂C=2(u,i)∈K∑(rui−f=1∑kpufqfi)puf\+2λqfi  
好吧，反正呢，求出偏导之后更新参数：  
 p u f = p u f + α ∂ C ∂ p u f p\_\{uf\} = p\_\{uf\}+\\alpha \\frac\{\\partial C\}\{\\partial p\_\{uf\}\} puf=puf\+α∂puf∂C  
 q f i = q f i + α ∂ C ∂ q f i q\_\{fi\} = q\_\{fi\}+\\alpha \\frac\{\\partial C\}\{\\partial q\_\{fi\}\} qfi=qfi\+α∂qfi∂C  
 α \\alpha α是学习率，也可以通过实验来确定。

## 4、 一个问题 ##

1、 这个类到底怎么确定呢？ k k k等于多少是可以自己定的？也不存在什么对应关系咯？可能是和聚类一样，隐类结果出来之后大概能归个类就可以了？  
2、 如果新来了用户或者商品，这个矩阵肯定要重新计算咯？

## 参考资料： ##

1.  《推荐系统实践》，项亮著

[20181031221355255.]: /images/20220422/33480c7a4d134255821298fff00cc65c.png