轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.37 本地预计算Combiner编程

深碍√TFBOYSˉ_ 2024-03-17 08:59 9阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.37 本地预计算Combiner编程

![在这里插入图片描述][b13c48d76b5a4d8b8ef6787aa778f43c.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.37 本地预计算Combiner编程 ######

OK，之前我们已经讨论了Combiner 的原理和意义。

![在这里插入图片描述][54a4aada1dce4d65accbc069061dcd03.png_pic_center]

现在我们来实现一下

来一个自定义的Combiner 类【之前我们已经说过它其实就是一个Reducer，所以】

package com.dingjiaxiong.mr.combiner;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 5:18 PM
     */
    public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
        @Override
        protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
            int count = 0;
    
            // 累计求和
            for (IntWritable value : values) {
        
                count += value.get();
            }
    
            // 输出
            context.write(word, new IntWritable(count));
        }
    }

重写这个reduce 方法和我们真正的reduce 是一毛一样的。就真的只有运行的位置不一样

修改Driver

package com.dingjiaxiong.mr.combiner;
    
    import com.dingjiaxiong.mr.wc.WordCountMapper;
    import com.dingjiaxiong.mr.wc.WordCountReducer;
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:12 AM
     */
    
    /**
     * 八股文编程[面向套路编程]
     */
    public class WordCountCombinerDriver {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/wc.data";
            String output = "out";
    
            // 获取Job对象
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            // 删除事先存在的输出目录
            FileUtils.delele(configuration, output);
    
            // 设置运行类
            job.setJarByClass(WordCountCombinerDriver.class);
    
            // 设置Mapper和Reducer
            job.setMapperClass(WordCountMapper.class);
            job.setReducerClass(WordCountReducer.class);
    
            // 设置Combiner
    //        job.setCombinerClass(WordCountCombiner.class);
    
            // 设置Mapper的输出数据的KEY和VALUE类型
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            // 设置Reducer的输出数据的KEY和VALUE类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
    
            // 设置作业的输入和输出路径
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            // 提交Job
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
    }

先看一下不进行预计算的运行结果

![在这里插入图片描述][d5eff8d0283549e39fff55885d4a407b.png_pic_center]

一个文件一个分片

![在这里插入图片描述][6612409801e444728dc38d4b2828101d.png_pic_center]

6 个啥？ `<pk,1> <pk,1> <pk,1> <hello,1> <hello,1> <world,1>` 一共6 个

字节数51

![在这里插入图片描述][04ea679fc5324999a46d18db0ae909c7.png_pic_center]

然后后面，Combine 的输入输出没有

接下来取消注释，再次运行

![在这里插入图片描述][f36ac8446af94ce6ab2e1b1fbf185b1e.png_pic_center]

这一次就不一样了，Combiner 接受了map 输出的6 ，自己输出了3【pk3 个，hello2 个，world1个 ，就已经算好了】，妙啊

结果：

![在这里插入图片描述][3195816a37f949a296966d29e9cd47ae.png_pic_center]

而且这个预计算和我们Reduce 没有一点区别，正因为如此，所以我们可以下面这样

![在这里插入图片描述][9d7b76db1cd749aaa092398e70c0698c.png_pic_center]

直接用我们的reduce ，看看效果

![在这里插入图片描述][8d11429152d54430ae1e2e02473f2a4d.png_pic_center]

依然没毛病。

所以就有两种方式了：

1.  自定义一个新的Reduce
2.  直接复用真正的reduce

但是，想用这个预计算是有前提的：

*  不能影响最终的业务逻辑

现在我们是求和，可以这样做，但是如果需求变成求平均数

![在这里插入图片描述][975de59ea61d4ba58b6caa7805bd0d6a.png_pic_center]

就不对了，这样就相当于中间插了一脚，影响了最终结果。这种时候就不能使用Combiner。

[b13c48d76b5a4d8b8ef6787aa778f43c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/da903cf38b904243986acfc53ffac64f.png
[54a4aada1dce4d65accbc069061dcd03.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c732fab1accc42f187f33bba0b921940.png
[d5eff8d0283549e39fff55885d4a407b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/472a6da5439749e0af2a937139731a45.png
[6612409801e444728dc38d4b2828101d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f73e12a70ce04a7cafa3a8a25e2a72e7.png
[04ea679fc5324999a46d18db0ae909c7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/68b00510be1843ad964c6b40ff30f992.png
[f36ac8446af94ce6ab2e1b1fbf185b1e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/aa9e1ad12ef64432b56779376c8f0eac.png
[3195816a37f949a296966d29e9cd47ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c443376abb1e49d789f3f89a0f1ce565.png
[9d7b76db1cd749aaa092398e70c0698c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f2363a84c8a04ac3b9a137d9521f0114.png
[8d11429152d54430ae1e2e02473f2a4d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/72230e54b6724c1bbcba7f1bf39463db.png
[975de59ea61d4ba58b6caa7805bd0d6a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f00d516fa04343e79f09552a7159986d.png