轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.37 本地预计算Combiner编程

深碍√TFBOYSˉ_ 2024-03-17 08:59 19阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.37 本地预计算Combiner编程

![在这里插入图片描述][b13c48d76b5a4d8b8ef6787aa778f43c.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.37 本地预计算Combiner编程 ######

OK，之前我们已经讨论了Combiner 的原理和意义。

![在这里插入图片描述][54a4aada1dce4d65accbc069061dcd03.png_pic_center]

现在我们来实现一下

来一个自定义的Combiner 类【之前我们已经说过它其实就是一个Reducer，所以】

package com.dingjiaxiong.mr.combiner;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 5:18 PM
     */
    public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
        @Override
        protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
            int count = 0;
    
            // 累计求和
            for (IntWritable value : values) {
        
                count += value.get();
            }
    
            // 输出
            context.write(word, new IntWritable(count));
        }
    }

重写这个reduce 方法和我们真正的reduce 是一毛一样的。就真的只有运行的位置不一样

修改Driver

package com.dingjiaxiong.mr.combiner;
    
    import com.dingjiaxiong.mr.wc.WordCountMapper;
    import com.dingjiaxiong.mr.wc.WordCountReducer;
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:12 AM
     */
    
    /**
     * 八股文编程[面向套路编程]
     */
    public class WordCountCombinerDriver {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/wc.data";
            String output = "out";
    
            // 获取Job对象
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            // 删除事先存在的输出目录
            FileUtils.delele(configuration, output);
    
            // 设置运行类
            job.setJarByClass(WordCountCombinerDriver.class);
    
            // 设置Mapper和Reducer
            job.setMapperClass(WordCountMapper.class);
            job.setReducerClass(WordCountReducer.class);
    
            // 设置Combiner
    //        job.setCombinerClass(WordCountCombiner.class);
    
            // 设置Mapper的输出数据的KEY和VALUE类型
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            // 设置Reducer的输出数据的KEY和VALUE类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
    
            // 设置作业的输入和输出路径
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            // 提交Job
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
    }

先看一下不进行预计算的运行结果

![在这里插入图片描述][d5eff8d0283549e39fff55885d4a407b.png_pic_center]

一个文件一个分片

![在这里插入图片描述][6612409801e444728dc38d4b2828101d.png_pic_center]

6 个啥？ `<pk,1> <pk,1> <pk,1> <hello,1> <hello,1> <world,1>` 一共6 个

字节数51

![在这里插入图片描述][04ea679fc5324999a46d18db0ae909c7.png_pic_center]

然后后面，Combine 的输入输出没有

接下来取消注释，再次运行

![在这里插入图片描述][f36ac8446af94ce6ab2e1b1fbf185b1e.png_pic_center]

这一次就不一样了，Combiner 接受了map 输出的6 ，自己输出了3【pk3 个，hello2 个，world1个 ，就已经算好了】，妙啊

结果：

![在这里插入图片描述][3195816a37f949a296966d29e9cd47ae.png_pic_center]

而且这个预计算和我们Reduce 没有一点区别，正因为如此，所以我们可以下面这样

![在这里插入图片描述][9d7b76db1cd749aaa092398e70c0698c.png_pic_center]

直接用我们的reduce ，看看效果

![在这里插入图片描述][8d11429152d54430ae1e2e02473f2a4d.png_pic_center]

依然没毛病。

所以就有两种方式了：

1.  自定义一个新的Reduce
2.  直接复用真正的reduce

但是，想用这个预计算是有前提的：

*  不能影响最终的业务逻辑

现在我们是求和，可以这样做，但是如果需求变成求平均数

![在这里插入图片描述][975de59ea61d4ba58b6caa7805bd0d6a.png_pic_center]

就不对了，这样就相当于中间插了一脚，影响了最终结果。这种时候就不能使用Combiner。

[b13c48d76b5a4d8b8ef6787aa778f43c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/da903cf38b904243986acfc53ffac64f.png
[54a4aada1dce4d65accbc069061dcd03.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c732fab1accc42f187f33bba0b921940.png
[d5eff8d0283549e39fff55885d4a407b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/472a6da5439749e0af2a937139731a45.png
[6612409801e444728dc38d4b2828101d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f73e12a70ce04a7cafa3a8a25e2a72e7.png
[04ea679fc5324999a46d18db0ae909c7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/68b00510be1843ad964c6b40ff30f992.png
[f36ac8446af94ce6ab2e1b1fbf185b1e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/aa9e1ad12ef64432b56779376c8f0eac.png
[3195816a37f949a296966d29e9cd47ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c443376abb1e49d789f3f89a0f1ce565.png
[9d7b76db1cd749aaa092398e70c0698c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f2363a84c8a04ac3b9a137d9521f0114.png
[8d11429152d54430ae1e2e02473f2a4d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/72230e54b6724c1bbcba7f1bf39463db.png
[975de59ea61d4ba58b6caa7805bd0d6a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f00d516fa04343e79f09552a7159986d.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.37 本地预计算Combiner编程

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.31 TextInputFormat编程

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.41 通过源码认识OutputFormat

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.37 本地预计算Combiner编程

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.36 本地预计算Combiner意义

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.34 DBInputFormat编程

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.32 KeyValueTextInputFormat编程

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.33 NLineInputFormat编程