轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.12 词频统计之测试及重构

谁践踏了优雅 2024-03-22 19:09 24阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.12 词频统计之测试及重构

![在这里插入图片描述][582952c9a5f94f949dd7febe5ff6e16a.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.12 词频统计之测试及重构 ######

直接运行我们写的Driver

> 记得把我们之前搞出来的out 目录删掉

![在这里插入图片描述][3cee9e4cf749475fb365ed92edd88fb7.png_pic_center]

运行结束

看看out文件夹

![在这里插入图片描述][a0207d1ed66d46d7a4312e75c0f7144d.png_pic_center]

没问题，我们的数据是这样的

![在这里插入图片描述][5f45219e4d884b3680b7d73725c9d3bc.png_pic_center]

我们紧接着再运行一次

![在这里插入图片描述][111917c25bfb4dea987a2d3c9b7ebe06.png_pic_center]

可以看到直接报错了，说`out` 目录已经存在了

这就是底层源码实现的原因了，就是这么实现的，输出目录不能存在。

那每次操作都要把输出目录删掉吗？

肯定需要我们自己来调整一下，当然调整的方式是我们自己先判断一下输出目录是否存在，存在的话，我们自己把它删掉，哈哈哈哈

来一个工具类：

package com.dingjiaxiong.utils;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:17 AM
     */
    public class FileUtils {
        
    
        public static void delele(Configuration configuration, String output) throws IOException {
        
            FileSystem fileSystem = FileSystem.get(configuration);
            Path outputPath = new Path(output);
    
            if (fileSystem.exists(outputPath)) {
        
                fileSystem.delete(outputPath, true);
            }
        }
    
    }

![在这里插入图片描述][a8b43e99363c43538684081d68b4635a.png_pic_center]

在driver 中调用

package com.dingjiaxiong.mr.wc;
    
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:12 AM
     */
    
    /**
     * 八股文编程[面向套路编程]
     */
    public class WordCountDriver {
        
    
        public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        
    
            String input = "data/wc.data";
            String output = "out";
    
            // 获取Job对象
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            // 删除事先存在的输出目录
            FileUtils.delele(configuration, output);
    
            // 设置运行类
            job.setJarByClass(WordCountDriver.class);
    
            // 设置Mapper和Reducer
            job.setMapperClass(WordCountMapper.class);
            job.setReducerClass(WordCountReducer.class);
    
            // 设置Mapper的输出数据的KEY和VALUE类型
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            // 设置Reducer的输出数据的KEY和VALUE类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            // 设置作业的输入和输出路径
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            // 提交Job
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
    }

![在这里插入图片描述][cad6c00bf2504975943abd52aee38309.png_pic_center]

在out 目录还存在的情况下， 再次运行

![在这里插入图片描述][a80018038edd4353a2e0a999488e9ed4.png_pic_center]

这样就不会出错了

[582952c9a5f94f949dd7febe5ff6e16a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8f498d71acb94f8fabf4a8a6bdaf27ee.png
[3cee9e4cf749475fb365ed92edd88fb7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e29bef218418439f961432e03da54a1e.png
[a0207d1ed66d46d7a4312e75c0f7144d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/be945800f12a44fdb08ccca1fb13b6c2.png
[5f45219e4d884b3680b7d73725c9d3bc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d2f9414004ef4ee98bc288efac756078.png
[111917c25bfb4dea987a2d3c9b7ebe06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e2b214903f964144a25eb7d1b6dd6334.png
[a8b43e99363c43538684081d68b4635a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d9b212ef58e2461b9204d1467446d72f.png
[cad6c00bf2504975943abd52aee38309.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c145b208e58446debdf952bdc895b7b6.png
[a80018038edd4353a2e0a999488e9ed4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d8c1054a19ce41b2b635874554916995.png