MapReduce示例-WordCount

超、凢脫俗 2023-06-27 12:38 8阅读 0赞

![format_png][]

在之前的文章《Hadoop-本地模式搭建》小编提到了wordcount对单词的统计，当时使用Hadoop自带的hadoop-mapreduce-examples-2.7.3.jar的实现了统计，

命令如下：hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/data.txt /root/temp/dataout  看了效果，现在小编通过自己编写示例来完成这个功能。

操作的环境：

伪分布式环境：如环境未搭建，请返回文章《[伪分布式模式搭建][Link 1]》查看。

需要的jar包

/root/training/hadoop-2.7.3/share/hadoop/common

/root/training/hadoop-2.7.3/share/hadoop/common/lib

/root/training/hadoop-2.7.3/share/hadoop/mapreduce

/root/training/hadoop-2.7.3/share/hadoop/mapreduce/lib

（/root/training/hadoop-2.7.3 此处是小编在搭建环境中约定的文件路径）

实现思路

![format_png 1][]

演示程序中的data.txt需要自己创建，其中的内容为：

I love Beijing

I love China

Beijing is the capital of China

MapReduce的wordcount功能主要分两个功能：一个是分词，一个是统计，分别对应这个Mapper阶段和Reduce阶段

1.在Mapper阶段，将data.txt文件读入，并对一行行的数据进行读取，分词

对应着下面的实现类：WordCountMapper

2.在Reduce阶段，将Mapper的输出作为输入，进行单词的统计，并排序。

对应着项目的实现类：WordCountReducer

3.在两个阶段需要一个主类，实现job

Mapper类的实现

package demo.wc;

importjava.io.IOException;

importorg.apache.hadoop.io.IntWritable;

importorg.apache.hadoop.io.LongWritable;

importorg.apache.hadoop.io.Text;

importorg.apache.hadoop.mapreduce.Mapper;

//public classWordCountMapper extends Mapper<k1, v1, k2, v2> \{

public classWordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> \{

/\*

\* map方法是提供给map task进程来调用的，map task进程是每读取一行文本来调用一次我们自定义的map方法

\* map task在调用map方法时，传递的参数：

\*      一行的起始偏移量LongWritable作为key

\*      一行的文本内容Text作为value1

\*/

@Override

protectedvoid map(LongWritable key1, Text value1, Context context)

throwsIOException, InterruptedException \{

/\*\*

\* context 代表Mapper的上下文

\* 上文 HDFS

\* 下文 Reducer

\*/

//取出数据 I Love Beijing

Stringdata = value1.toString();

//分词

String\[\]words = data.split(" ");

for(Stringword: words) \{

//k2为单词， v2：为计数

context.write(newText(word), new IntWritable(1));

![format_png 2][]

Reduce类的实现

package demo.wc;

importjava.io.IOException;

importorg.apache.hadoop.io.IntWritable;

importorg.apache.hadoop.io.Text;

importorg.apache.hadoop.mapreduce.Reducer;

//public classWordCountReducer extends Reducer<k3, v3, k4, v4> \{

public classWordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> \{

/\*

\* reduce方法提供给reduce task进程来调用

\* reduce task会将shuffle阶段分发过来的大量kv数据对进行聚合，聚合的机制是相同key的kv对聚合为一组

\* 然后reduce task对每一组聚合kv调用一次我们自定义的reduce方法

\*  调用时传递的参数：

\*          k3：一组kv中的key

\*          v3：一组kv中所有value的迭代器

\*/

@Override

protectedvoid reduce(Text k3, Iterable<IntWritable> v3,

Contextcontext) throws IOException, InterruptedException \{

/\*\*

\* context 待办reduce的上下文

\* 上文： Mapper

\* 下文： HDFS

\*/

//对V3进行求和

inttotal = 0;

for(IntWritablev: v3) \{

total+= v.get();

//输出 K4单词 V4频率

context.write(k3,new IntWritable(total));

![format_png 2][]

job主类的实现

package demo.wc;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;

public class WordCountMain \{

public static void main(String\[\] args) throws Exception \{

// 创建Job

Job job = Job.getInstance(new Configuration());

// 指定任务的入口

job.setJarByClass(WordCountMain.class);

// 指任务的map和输出的数据类型 k2 v2

job.setMapperClass(WordCountMapper.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

// 指定任务的reduce和输出的数据类型 k4 v4

job.setReducerClass(WordCountReducer.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

// 指定输入的路径（map） 输出的路径（reduce）

FileInputFormat.setInputPaths(job, new Path(args\[0\]));

FileOutputFormat.setOutputPath(job, new Path(args\[1\]));

// 执行任务

job.waitForCompletion(true);

![format_png 2][]

打包

![format_png 3][]

打包内容其实很简单，只是罗列下注意的地方点就好，在这个界面Main class要选择入口类。

![format_png 2][]

运行

要将打包的文件上传到自己定义的目录下（小编放在/root/tmp目录下）

\[root@bigdata11 temp\]\# hadoop jar wc.jar /input/data.txt /output/day1215/wc

![format_png 4][]

查看效果：

![format_png 5][]

![format_png 2][]

此篇文章主要是通过编写代码的形式来完成WordCount功能,其中将如何实现做了简单的介绍，如果大家有疑问，可以在文章后面留言一起讨论学习。

在公众号 回复 3：获取最新的大数据学习路线，当前获取的大数据学习路线，还在完善中。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaWFoenFhUXpBYjZEeFZiWjJ5REpqdDZFVnZKdzhpYWFOb1F1UVJNTlRBQkh3NXZDaWIwTDhkUk5vek1MUkZpYWp0QU1sbHgyMEU1aWExczF3LzY0MA?x-oss-process=image/format,png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA4MjQ0ODEzMA%3D%3D&chksm=9f84d95fa8f350492522774d9cf87a0ef50b87cbfd212d1cef53159e529ee479edae7a82ff19&idx=1&mid=2247484210&scene=21&sn=d72c36c107bbfc8aa13d325b789dee45#wechat_redirect
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaFhvam1TaERYbGFScnRwaEF4MWJWT0RTS3ZoVHF1QVNwemc5YVIwTHVSSHpSSTRuZmlhdUZUck9lU1V2SWVMaDhUUnVFbUhzRmY0ZUEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaGpTM3JnZ3p6bVVlMmdpYzM4dWUwN3NPbUh1TkRiQmlhenJwUTNHTGlhaWJGbmo0UUhWUHhvSU5rM3Y0VDBreDRHMnBKS2tjZm1xM3pNc1EvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaFhvam1TaERYbGFScnRwaEF4MWJWT3ZOUThOTFhUek53ZUNENTVRWFlrQ3FQbGRBU1IwSmI1aWNiTTZxbWVCbEVoOTNFNTNQaGR0RncvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaFhvam1TaERYbGFScnRwaEF4MWJWT1IwWmVpYndVSlNaaGRTWTJKajRucE5yR3lEczdUSldMYjJQS1lqa2liNENpYWliakpYTFYzVHpVVXcvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaFhvam1TaERYbGFScnRwaEF4MWJWT0t0N3dod2hKckNoUkMwRmliTDNzak1VOEdaUmVVS0I3R2libk5wZVhzZk5naWFpYlZSMnFCR0Y0M3cvNjQw?x-oss-process=image/format,png