推荐系统实践学习系列（二）利用用户行为数据（上）

左手的ㄟ右手 2021-09-15 13:08 355阅读 0赞

### 主要学习内容 ###

1 用户行为数据简介  
2 用户行为分析  
3 实验设计和算法评测  
4 基于领域的算法  
（1）基于用户的协同过滤算法  
（2）基于物品的协同过滤算法  
5 隐语义模型  
6 基于图的模型

#### （一）用户行为数据简介 ####

用户行为数据在网站上最简单的存在形式为日志。很多互联网业务会把多种原始日志按照用户行为汇总成会话日志，其中会话表示一次用户行为和对应的服务。如电子商务网站记录的用户行为包括网页浏览、购买、点击、评分和评论等。

用户行为在个性化推荐系统中分为两种：  
**显性反馈行为和隐性反馈行为**

（1）显性反馈行为：

对某些物品的喜欢、不喜欢；对某条事物的评论

（2）隐性反馈行为：

指的是那些不能明确反应用户喜好的行为。代表性的为页面浏览行为。用户浏览一个页面并不代表用户喜欢这个页面展示的物品，可能是因为页面链接显示在首页，用户更容易点击它，隐性反馈虽然不明确，但数据量更大。在很多网站中，可能只有隐性反馈而没有显性反馈。

针对反馈的明确性分，用户行为数据可以分为显性反馈和隐性反馈；但按照反馈的方向分，又可以分为正反馈和负反馈。正反馈：用户的行为倾向于喜欢，负反馈则相反。

下面是一个各代表网站中的一些对比：

![image.png][]

用户行为有很多，我们需要统一一下用户行为的表示  
\- 1 产生行为的用户  
\- 2 行为的对象  
\- 3 行为的种类  
\- 4 产生行为的上下文  
\- 5 行为的内容  
\- 6 行为的权重

![image.png][image.png 1]

不同的数据集包含不同的行为，目前比较有代表性的数据集有：  
1 无上下文信息的隐性反馈数据集：每条行为记录仅仅包含用户ID和物品ID  
2 无上下文信息的显性反馈数据集 ：每条记录包含用户ID、物品ID和用户对物品的评分  
3 有上下文信息的隐性反馈数据集：每条记录包含用户ID、物品ID和用户对物品产生行为的时间戳  
4 有上下文信息的显性反馈数据集：每条记录包含用户ID、物品ID、用户对物品的评分和评分行为发生的时间戳

#### （二）用户行为分析 ####

（1）用户活跃度和物品流行度的分布

长尾分布：  
1 物品流行度的长尾分布  
2 用户活跃度的长尾分布

（2）用户活跃度和物品流行度的关系

一般的，不活跃的用户要么是新用户，要么是只来过网站一两次的老用户。  
一般的，新用户倾向于浏览热门的物品，因为他们对网站不熟悉，只能点击热门物品  
而老用户会逐渐开始浏览冷门的物品

![image.png][image.png 2]

协同过滤算法：仅仅基于用户行为数据设计的推荐算法  
经协同过滤算法的深入研究，又提出了很多方法，比如基于邻域的方法（neghborhood-based）、隐语义模型（latent factor model）、基于图的随机游走算法（random walk on graph

广泛应用并最著名的是基于邻域的方法，主要包含下面两种算法：  
\- 1 基于用户的协同过滤算法：给用户推荐和他兴趣相似的其他用户喜欢的物品  
\- 2 基于物品的协同过滤算法：给用户推荐和他之前喜欢的物品相似的物品

#### （三）实验设计和算法评测 ####

评测推荐系统的3 种方法：离线实验、用户调查和在线实验

下面示例用到的是离线实验方法、数据集为无上下文信息的隐性反馈数据集  
![image.png][image.png 3]

协同过滤算法的离线实验设计一般如下：  
1 将用户行为数据集按照均匀分布随机分成M份，挑选一份作为测试集，将剩下的M-1份作为训练集。  
2 在训练集上建立用户兴趣模型，并在测试集上对用户行为进行预测，统计出相应的评测指标。  
3 为了保证评测指标并不是过拟合的结果，需要进行M次实验，并且每次都使用不同的测试集。  
4 将M次实验测出的评测指标的平均值作为最终的评测指标

将数据集随机分成训练集和测试集的过程：

def SplitData(data,M,k,seed):
           test = []
           train = []
           random.seed(seed)
           for user, item in data:
                 if random.randint(0,M) == k:
                       test.append([user,item])
                  else:
                         train.append([user,item])
            return train,test

> 每次实验选取不同的k（0≤k≤M1）和相同的随机数种子seed，进行M次实验就可 以得到M个不同的训练集和测试集，然后分别进行实验，用M次实验的平均值作为最后的评测指 标。这样做主要是防止某次实验的结果是过拟合的结果（over fitting），但如果数据集够大，模型 够简单，为了快速通过离线实验初步地选择算法，也可以只进行一次实验

评测指标：  
对用户u推荐N个物品R，令用户u在测试集上喜欢的物品集合为T，然后通过准确率/召回率评测推荐算法的精度：  
![image.png][image.png 4]

![image.png][image.png 5]

召回率描述有多少比例的用户—物品评分记录包含在最终的推荐列表中，而准确率描述最终 的推荐列表中有多少比例是发生过的用户—物品评分记录。下面两段代码给出了召回率和准确率 的计算方法

def Recall(train ,test ,N):
            hit = 0
             all = 0
              for user in train.keys():
                    tu =test[user]
                     rank = GetRecommendation(user,N)
                     for item,pui in rank:
                           if item in tu:
                                 hit +=1
                      all +=len(tu)
           return hit/(all * 1.0)
    
    
    def Precision(train, test, N): 
           hit = 0  all = 0 
           for user in train.keys():  
                 tu = test[user]  
                 rank = GetRecommendation(user, N)   
                  for item, pui in rank:  
                         if item in tu:    
                               hit += 1  
                   all += N 
         return hit / (all * 1.0)

除了上面评测推荐算法的精度，还计算了算法的覆盖率，覆盖率反映了推荐算法发掘长尾的 能力，覆盖率越高，说明推荐算法越能够将长尾中的物品推荐给用户

![image.png][image.png 6]  
该覆盖率表示最终的推荐列表中包含多大比例的物品。如果所有的物品都被推荐给至少一个 用户，那么覆盖率就是100%。如下代码可以用来计算推荐算法的覆盖率

def Coverage(train, test, N):  
        recommend_items = set()
        all_items = set()  
        for user in train.keys():
              for item in train[user].keys():  
                       all_items.add(item)   
              rank = GetRecommendation(user, N)   
              for item, pui in rank:  
                     recommend_items.add(item)  
              return len(recommend_items) / (len(all_items) * 1.0)

最后，我们还需要评测推荐的新颖度,这里用推荐列表中物品的平均流行度度量推荐结果的 新颖度。如果推荐出的物品都很热门，说明推荐的新颖度较低，否则说明推荐结果比较新。

![image.png][image.png 7]

由于该章的篇幅比较长，暂时到这，下一节从基于邻域的算法开始。

更多文章请访问博客主页：[http://blog.csdn.net/xudailong\_blog][http_blog.csdn.net_xudailong_blog]

[image.png]: /images/20210529/f857a378a7494e03885780d08a832568.png
[image.png 1]: /images/20210529/87a87c4fd6e14867b8b49ff75e6510f2.png
[image.png 2]: /images/20210529/fe083e1f330a4a45b622814c6fd1d21b.png
[image.png 3]: /images/20210529/8a70b85969524af186e0ffce73c97e0c.png
[image.png 4]: /images/20210529/99b8e0f26ccd40169b9547c97c0cad23.png
[image.png 5]: /images/20210529/ab10edcf15ce48db980f65ee060ce9a8.png
[image.png 6]: /images/20210529/2bbb33473c1248fe884dfdd4f0bb523d.png
[image.png 7]: /images/20210529/beb2df38b28f47baac857c6702f082cc.png
[http_blog.csdn.net_xudailong_blog]: http://blog.csdn.net/xudailong_blog