推荐系统 recommender system

妖狐艹你老母 2022-04-03 11:00 140阅读 0赞

### 使用场景 ###

消费者 C = \{ u s e r 1 , u s e r 2 , u s e r 3 , … , u s e r n u \} C=\\\{user\_1,user\_2,user\_3,\\dots,user\_\{n\_u\}\\\} C=\{ user1,user2,user3,…,usernu\},一共有 n u n\_u nu个样本  
  
商品 G = \{ p r o d 1 , p r o d 2 , … , p r o d n p \} G=\\\{prod\_1,prod\_2,\\dots,prod\_\{n\_p\}\\\} G=\{ prod1,prod2,…,prodnp\},一共有 n p n\_p np个样本  
  
消费者对商品的评分如下表：

<table> 
 <thead> 
 <tr> 
 <th align="center"></th> 
 <th align="center"> u s e r 1 user_1 user1</th> 
 <th align="center"> u s e r 2 user_2 user2</th> 
 <th align="center"> u s e r 3 user_3 user3</th> 
 <th align="center"> … \dots …</th> 
 <th align="center"> u s e r n u user_{n_u} usernu</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td align="center"> p r o d 1 prod_1 prod1</td> 
 <td align="center"> r 1 , 1 r_{1,1} r1,1</td> 
 <td align="center"> r 1 , 2 r_{1,2} r1,2</td> 
 <td align="center"> r 1 , 3 r_{1,3} r1,3</td> 
 <td align="center"> … \dots …</td> 
 <td align="center"> r 1 , n u r_{1,n_u} r1,nu</td> 
 </tr> 
 <tr> 
 <td align="center"> p r o d 2 prod_2 prod2</td> 
 <td align="center"> r 2 , 1 r_{2,1} r2,1</td> 
 <td align="center"> r 2 , 2 r_{2,2} r2,2</td> 
 <td align="center"> r 2 , 3 r_{2,3} r2,3</td> 
 <td align="center"> … \dots …</td> 
 <td align="center"> r 2 , n u r_{2,n_u} r2,nu</td> 
 </tr> 
 <tr> 
 <td align="center"> … \dots …</td> 
 <td align="center"></td> 
 <td align="center"></td> 
 <td align="center"></td> 
 <td align="center"></td> 
 <td align="center"></td> 
 </tr> 
 <tr> 
 <td align="center"> p r o d n p prod_{n_p} prodnp</td> 
 <td align="center"> r n p , 1 r_{n_p,1} rnp,1</td> 
 <td align="center"> r n p , 2 r_{n_p,2} rnp,2</td> 
 <td align="center"> r n p , 3 r_{n_p,3} rnp,3</td> 
 <td align="center"> … \dots …</td> 
 <td align="center"> r n p , n u r_{n_p,n_u} rnp,nu</td> 
 </tr> 
 </tbody> 
</table>

描述商品i在某特征的符合程度 x i = \[ f 1 , f 2 , … , f m \] T ( m × 1 ) x\_i=\[f\_1,f\_2,\\dots,f\_m\]^T \\quad(m \\times 1) xi=\[f1,f2,…,fm\]T(m×1)  
消费者j对某个特征的喜好程度 θ j = \[ θ 1 , θ 2 , … , θ m \] T ( m × 1 ) \\theta\_j=\[\\theta\_1,\\theta\_2,\\dots,\\theta\_m\]^T \\quad (m\\times 1) θj=\[θ1,θ2,…,θm\]T(m×1)  
  
特征的维数m将会在后面说到。

对于某个商品i，消费者j对其评分 r i , j r\_\{i,j\} ri,j由 x i , θ j x\_i,\\theta\_j xi,θj来决定，即  
 r i , j = θ j T x i r\_\{i,j\}=\\theta\_j^Tx\_i ri,j=θjTxi

### 协同过滤算法 ###

协同过滤算法的思想是对某种特征的喜好相同(比如都喜欢动作电影)的消费者，对在某种特征上比较契合的商品上评价也应趋于一致(对于新出的动作电影评分都可能较高)

*  设置 m m m个特征， f 1 , f 2 , … , f m f\_1,f\_2,\\dots,f\_m f1,f2,…,fm,比如电影的浪漫程度，暴力程度，喜剧程度等等，这些特征不用手工提取，只需要确定m的大小，特征的具体值将会由算法学习得出。  
    
 *  对于 n u n\_u nu个消费者， n p n\_p np个商品，我们先初始化两个数据集：  
      
     X = \{ x 1 , x 2 , … , x n p \} X=\\\{x\_1,x\_2,\\dots,x\_\{n\_p\}\\\} X=\{ x1,x2,…,xnp\}  
      
     Θ = \{ θ 1 , θ 2 , … , θ n u \} \\Theta=\\\{\\theta\_1,\\theta\_2,\\dots,\\theta\_\{n\_u\}\\\} Θ=\{ θ1,θ2,…,θnu\}  
      
    随机赋一些较小的值。

协同过滤算法的基本思路是：同时优化 X , Θ X,\\Theta X,Θ，优化目标如下：  
  
 J ( x 1 , … , x n p , θ 1 , … , θ n u ) = 1 2 ∑ ( i , j ) : r ( i , j ) = 1 ( θ j T x i − y i , j ) 2 + λ 2 ∑ i = 1 n p ∑ k = 1 m ( x i k ) 2 + ∑ j = 1 n u ∑ k = 1 m ( θ j k ) 2 J(x\_1,\\dots,x\_\{n\_p\},\\theta\_1,\\dots,\\theta\_\{n\_u\})=\\frac\{1\}\{2\}\\sum\_\{(i,j):r(i,j)=1\}(\\theta\_j^Tx\_i-y\_\{i,j\})^2+\\frac\{\\lambda\}\{2\}\\sum\_\{i=1\}^\{n\_p\}\\sum\_\{k=1\}^\{m\}(x\_i^\{k\})^2 +\\sum\_\{j=1\}^\{n\_u\}\\sum\_\{k=1\}^m(\\theta\_j^k)^2 J(x1,…,xnp,θ1,…,θnu)=21(i,j):r(i,j)=1∑(θjTxi−yi,j)2\+2λi=1∑npk=1∑m(xik)2\+j=1∑nuk=1∑m(θjk)2  
注意，这时候就不需要加上恒为1的偏差（如之前的 x 0 = 1 , θ 0 = 1 x\_0=1,\\theta\_0=1 x0=1,θ0=1)，这时 x ∈ R m , θ ∈ R m x \\in \\mathbb\{R\}^m,\\theta \\in \\mathbb\{R\}^m x∈Rm,θ∈Rm

*  使用梯度下降等方法进行优化，对 i = 1 , 2 , … , n p ; j = 1 , 2 , … , n u ; k = 1 , 2 , … , m i=1,2,\\dots,n\_p;j=1,2,\\dots,n\_u;k=1,2,\\dots,m i=1,2,…,np;j=1,2,…,nu;k=1,2,…,m：  
     x i k = x i k − α ( ∑ j : r ( i , j ) = 1 ( θ j T x i − y i , j ) 2 + λ i k ) θ j k = θ j k − α ( ∑ i : r ( i , j ) = 1 ( θ j T x i − y i , j ) 2 + λ i k ) x\_i^k=x\_i^k-\\alpha(\\sum\_\{j:r(i,j)=1\}(\\theta\_j^Tx\_i-y\_\{i,j\})^2 +\\lambda\_i^k)\\\\ \\theta\_j^k=\\theta\_j^k-\\alpha(\\sum\_\{i:r(i,j)=1\}(\\theta\_j^Tx\_i-y\_\{i,j\})^2 +\\lambda\_i^k) xik=xik−α(j:r(i,j)=1∑(θjTxi−yi,j)2\+λik)θjk=θjk−α(i:r(i,j)=1∑(θjTxi−yi,j)2\+λik)