轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.31 TextInputFormat编程

悠悠 2024-03-22 19:34 37阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.31 TextInputFormat编程

![在这里插入图片描述][dc7da1afc183431b9df10e6daadbed8c.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.31 TextInputFormat编程 ######

在我们之前的案例中

![在这里插入图片描述][2920c4f116064447a41606c7ddb58045.png_pic_center]

我们都是分开写的，其实在工作中，我们可以写到一块儿。

举个栗子：

package com.dingjiaxiong.mr.inputformat;
    
    import com.dingjiaxiong.mr.wc.WordCountDriver;
    import com.dingjiaxiong.mr.wc.WordCountMapper;
    import com.dingjiaxiong.mr.wc.WordCountReducer;
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 2:32 PM
     */
    public class FileInputFormatApp {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/wc";
            String output = "out2";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(FileInputFormatApp.class);
    
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
        public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
            @Override
            protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
                int count = 0;
                for (IntWritable value : values) {
        
                    count += value.get();
                }
    
                // 输出
                context.write(word, new IntWritable(count));
            }
        }
    
    
        public static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        
    
            IntWritable ONE = new IntWritable(1);
    
            @Override
            protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
    
                String[] splits = value.toString().split(",");
                for (String word : splits) {
        
                    context.write(new Text(word), ONE);
                }
            }
        }
    }

直接运行

![在这里插入图片描述][02c06d21e18d4d7eaf73f5a608246e42.png_pic_center]

运行结果

![在这里插入图片描述][231fcb5762ce4c198f7a82eab50dfb88.png_pic_center]

OK， 没问题，这其实就是`FileInputFormat` 的用法，

![在这里插入图片描述][a5a9b81f2d80411e89ef49cb481f5ee9.png_pic_center]

下面看看`TextInputFormat`

![在这里插入图片描述][40ce68c80cbb41f3bb2f61438d6b93c3.png_pic_center]

从源码可以看到，`TextInputFormat` 是 `FileInputFormat` 的子类，变相说明它有父类的全部方法。

![在这里插入图片描述][200c3b267a9e45389a1dabd687298401.png_pic_center]

可以看到，就两个

![在这里插入图片描述][501ec0e4a46e4245ae9f076e72e6326c.png_pic_center]

这个方法的意思是 可不可以切片，其中涉及到压缩的问题，因为有些压缩是可以切的，有些切了文件就烂掉了。不能切就一个片，能切，根据文件大小进行切分

另外一个就是创建读取器

![在这里插入图片描述][0ba724b6be974a77a179add876523626.png_pic_center]

可以看到最后返回的，看名字也大概可以猜到是一个行读取器。

【小结】`TextInputFormat` 是 `FileInputFormat` 的一个实现，按行读取数据，重写了两个方法。

![在这里插入图片描述][3c3824414bbb4c229d87ef8841fc0a9e.png_pic_center]

我们直接把这儿换成`TextInputFormat` ，直接运行

![在这里插入图片描述][eba7006af90b4fe9a7e0a5ff538fec2e.png_pic_center]

没问题的，不影响

[dc7da1afc183431b9df10e6daadbed8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/719000e34dc043329aad016155dae10e.png
[2920c4f116064447a41606c7ddb58045.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2d05b160ec05407fa2a657d0082a120e.png
[02c06d21e18d4d7eaf73f5a608246e42.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/98e0063b45bb47c9aac0126c22a96c9a.png
[231fcb5762ce4c198f7a82eab50dfb88.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/402ebfa020a649759e5ac80748f0c680.png
[a5a9b81f2d80411e89ef49cb481f5ee9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5cd892bb2594482f8029a77842a2cbc8.png
[40ce68c80cbb41f3bb2f61438d6b93c3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d46465da05934bc18ffd8626273e6aa2.png
[200c3b267a9e45389a1dabd687298401.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/14ac80f58ca64bb89df8ac70dfd6948c.png
[501ec0e4a46e4245ae9f076e72e6326c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/708957e8ab514be2bd7679a486aa2e9f.png
[0ba724b6be974a77a179add876523626.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/dc66fe3ff41648d8b28508778f5bce81.png
[3c3824414bbb4c229d87ef8841fc0a9e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e8f432f8582941f8b30fbd8c08765c90.png
[eba7006af90b4fe9a7e0a5ff538fec2e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/cee891bee0a242959511675e394689da.png