Hadoop Mapreduce中wordcount 过程解析

左手的ㄟ右手 2021-12-12 06:19 278阅读 0赞

将文件split

文件1：                                                                   分割结果：

hello  world                                                   <0, "hello world">

this is wordcount                                           <12,"this is wordcount">

文件2：

hello china                                                     <0,"hello china">

hello IT                                                           <12,"hello IT">

测试文件较小，所以一般测试文件就是一个split

MapReduce 框架完成了以上分割

Then,将分割好的<key ,value > 交给用户自定义的map 方法进行处理，生成新的<key,value>:

<0, "hello world">                        map()                <hello,1> <world,1>

<12,"this is wordcount">             map()                 <this,1> <is,1> <wordcount,1>

<0,"hello china">                         map()                 <hello,1> <china,1>

<12,"hello IT">                            map()                  <hello,1><IT,1>

map() reduce() 中间有个shuffle :

<hello,1> <world,1>                         shuffle ()             <hello,1>

<this,1> <is,1> <wordcount,1>        shuffle ()              <is,1>

<wordcount,1>

<world,1>

<hello,1> <china,1>                         shuffle ()              <china,1>

<hello,1> <IT,1>                               shuffle ()               <hello,1>

<hello,1>

<IT,1>

分组，将相同的key 合并在一起：

<hello,1>                        <hello,list(1)>

<is,1>                             <is,list(1)>

<wordcount,1>               <wordcount,list(1)>

<world,1>                      <world,list(1)>

<china,1>                        <china,list(1)>

<hello,1>

<hello,1>                          <hello,list(2)>

<IT,1>                             <IT,1>

<china,list(1)>

<hello,list(1,2)>

<is,list(1)>

<wordcount,list(1)>

<world,list(1)>

<IT,list(1)>

得到最新的<key,value> 之后，再交给用户的reduce()方法，得到最新的<key,value >,并组为wordcount 的结果输出:

<china,1>

<hello,3>

<is,1>

<wordcount,1>

<world,1>

<IT,1>

转载于:https://www.cnblogs.com/pickKnow/p/10767222.html

发表评论取消回复

表情：

评论列表（有 0 条评论，278人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 官方WordCount案例带你手把手的解析

文章目录 1.需求 2.需求分析 3.项目结构图 4.项目依赖包 5.编写Mapper

浅浅的花香味﹌/ 2022年12月17日 02:26/ 0 赞/ 150 阅读

相关【hadoop学习】——MapReduce的WordCount案例代码简析

一、Map阶段部分：获取文本中的所有单词，作为key，每个key对应的value为1，输出格式为<key,1>. 具体步骤：获取输入文本的每一行数据由Text类型转为

我会带着你远行/ 2022年11月16日 05:44/ 0 赞/ 192 阅读

相关 python hadoop mapreduce_python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我， java不会，没办法就用streaming来写mapreduce日志分析。

落日映苍穹つ/ 2022年10月25日 11:28/ 0 赞/ 130 阅读

相关 Hadoop-MapReduce介绍及简单WordCount实例

MapReduce MapReduce是负责计算的，HDFS是负责存储的。 Hadoop是负责处理海量数据的存储和计算的。 MapReduce的概述定义

- 日理万妓/ 2022年10月13日 01:49/ 0 赞/ 186 阅读

相关 MapReduce中FileInputFormat解析

1、概述在map阶段，文件先被切分成split块，而后每一个split切片对应一个Mapper任务。 FileInputFormat这个类先对输入文件进行逻辑上的划

悠悠/ 2022年09月01日 07:56/ 0 赞/ 146 阅读

相关利用Hadoop MapReduce实现单词统计——Wordcount

Hadoop MapReduce实现单词统计——Wordcount 环境：Centos 7系统+IDEA 本程序是利用IDEA中的Maven来实现的，主

￡神魔★判官ぃ/ 2022年05月27日 10:07/ 0 赞/ 209 阅读

相关 hadoop_mapreduce_wordcount例子

1. Wordcount例子 1) 数据流： ![20180509153101919][] 2) Map Map需要派生自map，四个参数为k1,v1,k2,v2的数

系统管理员/ 2022年05月25日 06:26/ 0 赞/ 214 阅读

相关 MapReducer-wordCount

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

我就是我/ 2022年04月03日 02:37/ 0 赞/ 216 阅读

相关 Hadoop MapReduce WordCount 快速上手

需求统计一个文件中出现的各个单词个数。文件路径`/Users/ylj/demo/input/hello.txt` ☁ input pwd /

╰半橙微兮°/ 2022年02月23日 00:56/ 0 赞/ 261 阅读

相关 Hadoop Mapreduce中wordcount 过程解析

将文件split 文件1：分割结果：

左手的ㄟ右手/ 2021年12月12日 06:19/ 0 赞/ 279 阅读