hadoop实现求共同好友

蔚落 2023-10-01 12:17 26阅读 0赞

### 前言 ###

在很多社交APP中，比如大家熟悉的QQ好友列表中，打开会话框，经常可以看到下面有一栏共同好友的推荐列表，用户通过这种方式，可以添加潜在的关联好友  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5bCP56CB5Yac5Y-U5Y-U_size_9_color_FFFFFF_t_70_g_se_x_16]  
这种功能该如何实现呢？对redis比较了解的同学应该能很快想到，可以使用redis来实现这个功能。没错，redis确实是个不错的可以实现这个功能的方案。

但redis的实现有一定的局限性，因为redis存储和数据和计算时需要耗费较多的内存资源，设想一下，像腾讯QQ这样的规模，如果用这种方式做的话，估计Redis服务器的投入成本将是一笔不小的开销。

利用hadoop中的MapReduce同样可以实现这个功能，该如何实现呢？

### 业务分析 ###

下面是原始的数据文件，第一栏可理解为本人，第二行为该用户的好友列表，以逗号分割，比如A用户的好友包括：B,C,D,F,E,O这几个，后面的行依次类推

A:B,C,D,F,E,O
    B:A,C,E,K
    C:F,A,D,I
    D:A,E,F,L
    E:B,C,D,M,L
    F:A,B,C,D,E,O,M
    G:A,C,D,E,F
    H:A,C,D,E,O
    I:A,O
    J:B,O
    K:A,C,D
    L:D,E,F
    M:E,F,G
    O:A,H,I,J
    </

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5bCP56CB5Yac5Y-U5Y-U_size_9_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/896f4e08017e463d88cbc4ea4b3f2de9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5bCP56CB5Yac5Y-U5Y-U,size_9,color_FFFFFF,t_70,g_se,x_16

发表评论取消回复

表情：

评论列表（有 0 条评论，26人围观）

还没有评论，来说两句吧...

相关阅读

相关 QQ好友分组添加好友（UITableView实现）

- (void)viewDidLoad { [super viewDidLoad]; //malloc开辟内存

绝地灬酷狼/ 2023年10月17日 05:13/ 0 赞/ 24 阅读

相关 hadoop实现求共同好友

前言在很多社交APP中，比如大家熟悉的QQ好友列表中，打开会话框，经常可以看到下面有一栏共同好友的推荐列表，用户通过这种方式，可以添加潜在的关联好友 ![在这里插入

蔚落/ 2023年10月01日 12:17/ 0 赞/ 27 阅读

相关 mapreduce程序案例4--查找QQ共同好友

需求：查找QQ共同好友： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,

秒速五厘米/ 2022年12月13日 12:48/ 0 赞/ 139 阅读

相关 Hadoop-共同好友（共同关注）案例

共同好友案例以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的)，求出哪些人两两之间有共同好友,及他俩的共同好友都有谁

￡神魔★判官ぃ/ 2022年10月19日 04:28/ 0 赞/ 197 阅读

相关 pyspark开发趣味题1-求共同好友

文章目录一.问题描述二.解决方案 2.1 梳理解决方案 2.2 整理代码思路 2.3 最终解决方案

痛定思痛。/ 2022年10月15日 12:57/ 0 赞/ 155 阅读

相关 Hadoop好友推荐系统-推荐结果查询

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、前端展示 1、jsp页面 <%@ page language="java"

深藏阁楼爱情的钟/ 2022年06月12日 02:09/ 0 赞/ 235 阅读

相关 Hadoop好友推荐系统-组别数据入库

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、前端展现 1、jsp页面 <table>

向右看齐/ 2022年06月12日 01:56/ 0 赞/ 230 阅读

相关 Hadoop好友推荐系统-执行分类算法

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、前端展示 1、jsp页面 <table>

爱被打了一巴掌/ 2022年06月12日 01:55/ 0 赞/ 257 阅读

相关 Hadoop好友推荐系统-用户距离计算

项目总目录：[基于Hadoop的好友推荐系统项目综述][Hadoop] 一、用户距离计算 1、前端展示 jsp页面 <table>

左手的ㄟ右手/ 2022年06月12日 01:50/ 0 赞/ 218 阅读

相关 SpringBoot集成Hadoop系列二 ---- MapReduce统计数据文件的共同好友

代码: package com.hadoop.reduce.mapper; import java.io.IOException;

╰半橙微兮°/ 2022年01月28日 09:25/ 0 赞/ 521 阅读