轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.9 词频统计之自定义Mapper

╰半橙微兮° 2024-03-22 19:08 32阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.9 词频统计之自定义Mapper

![在这里插入图片描述][dca3879f1a1f436ca4d5848a6648fdda.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.9 词频统计之自定义Mapper ######

在官方那个案例的基础上，我们自己来手写一个

需求：统计给定的文件中输出每一个单词出现的总次数

输入
    pk,pk,pk
    hello,hello
    world
    
    输出
    pk,3
    hello,2
    world,1

![在这里插入图片描述][e84e18359d27416e867a7c3e37424cde.png_pic_center]

这是我们要继承的那个类

Mapper的任务：读入一行行的数据，按照分隔符对一行行的数据进行切分，按照<单词,1>的格式输出

package com.dingjiaxiong.mr.wc;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Mapper;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:10 AM
     */
    
    /**
     * KEYIN: 输入数据的KEY的数据类型
     * VALUEIN: 输入数据的VALUE的数据类型
     * KEYOUT: 输出数据的KEY的数据类型
     * VALUEOUT: 输出数据的VALUE的数据类型
     */
    public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        
    
        IntWritable ONE = new IntWritable(1);
    
        /**
         * @param key:    每行数据的偏移量
         * @param value:  每行数据
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
            // 获取每行数据, 按照指定分隔符进行切分
            String[] splits = value.toString().split(",");
            // 循环输出
            for (String word : splits) {
        
                context.write(new Text(word), ONE);
            }
        }
    }

![在这里插入图片描述][1ddc655156754863906951e05b14dd43.png_pic_center]

[dca3879f1a1f436ca4d5848a6648fdda.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/acba89527ed8497b99faa4838df253d4.png
[e84e18359d27416e867a7c3e37424cde.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e32f32e84d3045a38f1b6986b8199256.png
[1ddc655156754863906951e05b14dd43.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7b75285476fb41c68a13b350e81440df.png