六个案例强化MR程序的开发和理解之数据去重

谁践踏了优雅 2021-11-26 11:32 172阅读 0赞

“数据去重”主要是为了掌握和利用 并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数统计大数据集上的数据种类个数、 从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。

**问题描述**

对数据文件中的数据进行去重。数据文件中的每行都是一个数据。

样例输入文件如下所示：                  样例输出如下所示：

** **

**设计思路**

数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台 reduce 机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。具体就是 reduce 的输入应该以数据作为key，而对 value-list 则没有要求。当 reduce 接收到一个<key，value-list>时就直接将 key 复制到输出的 key 中，并将 value 设置成空值。

在 MapReduce 流程中，map 的输出<key， value>经过 shuffle 过程聚集成<key， value-list>后会交给 reduce。所以从设计好的 reduce 输入可以反推出 map 的输出 key 应为数据，value 任意。继续反推 map 输出数据的 key 为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以 map 阶段要完成的任务就是在采用 Hadoop 默认的作业输入方式之后，将 value 设置为 key，并直接输出（输出中的 value 任意） 。map 中的结果经过 shuffle 过程之后交给 reduce。reduce 阶段不会管每个 key 有多少个 value，它直接将输入的 key 复制为输出的 key，并输出就可以了（输出中的 value 被设置成空了） 。

**程序代码**

**package** demo.mr.distinct;

**import** java.io.IOException;

**import** org.apache.hadoop.conf.Configuration;

**import** org.apache.hadoop.fs.Path;

**import** org.apache.hadoop.io.IntWritable;

**import** org.apache.hadoop.io.NullWritable;

**import** org.apache.hadoop.io.Text;

**import** org.apache.hadoop.mapreduce.Job;

**import** org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

**import** org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

**public** **class** DistinctMain \{

**public** **static** **void** main(String\[\] args) **throws** Exception \{

// 创建一个job：job = map + reduce

Job job = Job.*getInstance*(**new** Configuration());

//指定任务的入口

job.setJarByClass(DistinctMain.**class**);

//指定任务的Mapper和输出的数据类型: k2  v2

job.setMapperClass(DistinctMapper.**class**);

job.setMapOutputKeyClass(Text.**class**);    //指定k2

job.setMapOutputValueClass(NullWritable.**class**);  //指定v2

//指定任务的Reducer和输出的数据类型: k4 v4

job.setReducerClass(DistinctReducer.**class**);

job.setOutputKeyClass(Text.**class**);   //指定k4

job.setOutputValueClass(NullWritable.**class**);   //指定v4

//指定输入的路径（map）、输出的路径（reduce）

FileInputFormat.*setInputPaths*(job, **new** Path(args\[0\]));

FileOutputFormat.*setOutputPath*(job, **new** Path(args\[1\]));

//执行任务

job.waitForCompletion(**true**);

**package** demo.mr.distinct;

**import** java.io.IOException;

**import** org.apache.hadoop.io.LongWritable;

**import** org.apache.hadoop.io.NullWritable;

**import** org.apache.hadoop.io.Text;

**import** org.apache.hadoop.mapreduce.Mapper;

**public** **class** DistinctMapper **extends** Mapper<LongWritable, Text, Text, NullWritable> \{

@Override

**protected** **void** map(LongWritable key1, Text value1, Context context)

**throws** IOException, InterruptedException \{

// 数据  7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30

String data = value1.toString();

//分词

String\[\] words = data.split(",");

//将job作为key2进行输出

context.write(**new** Text(words\[2\]), NullWritable.*get*());

**package** demo.mr.distinct;

**import** java.io.IOException;

**import** org.apache.hadoop.io.NullWritable;

**import** org.apache.hadoop.io.Text;

**import** org.apache.hadoop.mapreduce.Reducer;

**public** **class** DistinctReducer **extends** Reducer<Text, NullWritable, Text, NullWritable> \{

@Override

**protected** **void** reduce(Text k3, Iterable<NullWritable> v3,Context context) **throws** IOException, InterruptedException \{

context.write(k3, NullWritable.*get*());

六个案例强化MR程序的开发和理解之数据去重

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 MR基础案例（六）TOP N

相关 MR基础案例（三）去重

相关 MapReduce编程开发之数据去重

相关 MapReduce 之数据去重

相关 MapperReduce之数据去重

相关六个案例强化MR程序的开发和理解之平均成绩

相关六个案例强化MR程序的开发和理解之数据排序

相关六个案例强化MR程序的开发和理解之数据去重

相关六个案例强化MR程序的开发和理解之多表关联

相关六个案例强化MR程序的开发和理解之单表关联