排序千万级数据_大数据推荐

Bertha 。 2023-01-06 11:57 163阅读 0赞

电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。

不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感觉兴趣的人；优酷，土豆的电影推荐；豆瓣的图书推荐；大从点评的餐饮推荐；世纪佳缘的相亲推荐；天际网的职业推荐等。

**推荐算法分类：**

按数据使用划分：

· 协同过滤算法：UserCF, ItemCF, ModelCF

· 基于内容的推荐: 用户内容属性和物品内容属性

· 社会化过滤：基于用户的社会网络关系

**基于用户的协同过滤算法UserCF**

基于用户的协同过滤，通过不同用户对物品的评分来评测用户之间的相似性，基于用户之间的相似性做出推荐。简单来讲就是：给用户推荐和他兴趣相似的其他用户喜欢的物品。

用例说明：

![9092bac86c552d6a74dd546ae13abd58.png][]

**基于物品的协同过滤算法ItemCF**

基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐。简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。

用例说明：

![9092bac86c552d6a74dd546ae13abd58.png][]

注：基于物品的协同过滤算法，是目前商用最广泛的推荐算法。

案例：天池大数据竞赛

**我们会开放如下数据类型：**

**字 段**

**字段说明**

**提取说明**

**user\_id**

**用户标记**

**抽样&字段加密**

**Time**

**行为时间**

**精度到天级别&隐藏年份**

**action\_type**

**用户对品牌的行为类型**

**包括点击、购买、加入购物车、收藏4种行为**  **(点击：0 购买：1 收藏：2 购物车：3）**

**brand\_id**

**品牌数字ID**

**抽样&字段加密**

提供的数据量，涉及千万级天猫用户，万级天猫品牌，时间跨度4个月的行为记录。  
提供的训练数据在天池集群的表t\_alibaba\_bigdata\_user\_brand\_total\_1中，字段分别为：user\_id，brand\_id, type, visit\_datetime。如图所示

![9092bac86c552d6a74dd546ae13abd58.png][]

用户4种行为类型(Type)对应代码分别为：  
点击：0；购买：1；收藏：2；购物车：3

数据案例为：

再谈谈Co-occurrence Matrix(同显矩阵)和User Preference Vector(用户评分向量)相乘得到的这个**R**ecommended Vector(推荐向量)的意义

![9092bac86c552d6a74dd546ae13abd58.png][]

第一次听完理论直接上这两个东西相乘实现Item Based Cooperative Filtering(基于物品的协同过滤)，一下子真没反应过来，下面就个人的理解通俗的解释一下：

ItemBased：基于物品的（区分于基于用户的）体现在同现矩阵，把所有用户对物品打过分的记录都拿过来，形成一个个反应物品关联度的矩阵Co-occurrence Matrix，下面简称C矩阵。

为什么乘以User Preference Vector用户评分向量就是**R**ecommended Vector(推荐向量)，这个推荐向量又要怎么用呢？

还是用R的第三项24.5来做一下解释，

R3的解释：对于用户U商品103的可推荐度。

这点很重要，理解这点就是要知道我们这一系列算法过程在做什么（What）。

我把R3也就是R103的计算用公式表示如下：

![9092bac86c552d6a74dd546ae13abd58.png][]

R3怎么出来的

C101.103 \* U101 + C102.103 \* U102

从上面可以看到C103i\*Ui就是Ui代表用户对i的喜爱度，C103i代表i和103同时出现的次数，i物品和103同时出现得越多C103i越大，用户对i的喜爱度值越大Ui越大，自然R103值就越大，越值得推荐103。

![9092bac86c552d6a74dd546ae13abd58.png][]

R向量里面的R101, R104,R105和R107这三项值很大，但是我们可以忽略它们应用用户已经对该物品购买过的，也就是已经买个这些了，可以不推荐了，对于用户没有买过的几项里面选出最大(或者TopN)的物品推荐就可以了，

上面R102,R103,R106里面选一个最大值103,103就是可以推荐的商品了

代码步骤：

1、 去重

2、 获取所有用户的喜欢矩阵：

a)

I1

I2

I3

U1

U2

3、 获得所有物品之间的同现矩阵

4、 两个矩阵相乘得到三维矩阵

5、 三维矩阵的数据相加获得所有用户对所有物品的推荐值（二维矩阵）

6、 按照推荐值降序排序。

ub�X �

[9092bac86c552d6a74dd546ae13abd58.png]: /images/20221119/3423ef15deca4a7682a6ec96bee4ce38.png

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 千万级数据处理

目录一、优化二、案例 -------------------- 一、优化单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，

太过爱你忘了你带给我的痛/ 2024年04月01日 13:28/ 0 赞/ 84 阅读

相关 Python处理千万级数据

从别人的论文里找到要用的数据的原始数据自己做过滤捣鼓了两天觉得代码太慢开始用pandas做处理不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MA

青旅半醒/ 2023年10月07日 13:47/ 0 赞/ 27 阅读

相关 MySQL百万级/千万级数据存储解决方案

MySQL 百万级/千万级数据存储解决方案百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作。总体设计可以

ゝ一世哀愁。/ 2023年10月01日 11:04/ 0 赞/ 12 阅读

相关批量插入千万级数据

DECLARE @newid VARCHAR ( 20 ),@I INT SET @I = 1 WHILE @I < 10000000 BEGIN INSERT

超、凢脫俗/ 2023年01月22日 15:47/ 0 赞/ 166 阅读

相关 MySQL 快速批量创建千万条数据千万级数据

MySQL 快速批量创建千万条数据千万级数据一、实现思路 1、创建一张users表，数据库引擎调整为： MyISAM 2、使用存储过程实现，用循环语句，批

痛定思痛。/ 2023年01月18日 14:30/ 0 赞/ 31 阅读

相关排序千万级数据_大数据推荐

电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。不光

Bertha 。/ 2023年01月06日 11:57/ 0 赞/ 164 阅读

相关千万级数据查询

\---千万级数据查询 if (object\_id(N'syspr\_TablePaginationSearch',N'P') is not null) drop p

港控/mmm°/ 2022年09月26日 14:00/ 0 赞/ 263 阅读

相关 mysql千万级大数据SQL查询优化

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 -------------------- 2.应尽量避免

布满荆棘的人生/ 2022年06月07日 23:44/ 0 赞/ 306 阅读

相关千万级数据处理

千万级数据处理前言近日一次版本上线时，涉及到千万级数据处理，因一时疏漏造成Oracle数据库回滚段爆掉，造成版本重复发布。系统日常运行中，产

我会带着你远行/ 2022年05月14日 14:57/ 0 赞/ 244 阅读

相关 MYSQL千万级大数据SQL查询优化

转载: [https://www.cnblogs.com/zhangboyu/p/7449306.html][https_www.cnblogs.com_zhangboyu_p

我不是女神ヾ/ 2022年02月22日 18:34/ 0 赞/ 327 阅读