轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.33 NLineInputFormat编程

以你之姓@ 2024-03-17 08:59 30阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.33 NLineInputFormat编程

![在这里插入图片描述][48755b221d8a463ab65e1a5583d294a9.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.33 NLineInputFormat编程 ######

OK，之前我们已经看了`TextInputFormat` 和 `KeyValueTextInputFormat`

还有最后这个 `NLineInputFormat`

字面意思，NLine，N 行，说明是可以几行的读？

看看源码

![在这里插入图片描述][d1105b7469344a818b3ab5d753120530.png_pic_center]

![在这里插入图片描述][688ae5a7066d43e8a9503c18f492198c.png_pic_center]

对于这个，我们就可以设置分片规则了

它是是按照行数进行切片，不会再去根据Block的大小来切片

`切片数 = 总行数 / N行 (+1)`

举个栗子：

先修改一下数据

![在这里插入图片描述][d315f93ca0584fe28a955d5d477e9081.png_pic_center]

10行pk

package com.dingjiaxiong.mr.inputformat;
    
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
    import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 2:32 PM
     */
    public class NLineInputFormatApp {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/wc/wc1.data";
            String output = "out2";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(NLineInputFormatApp.class);
    
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
    
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
    
            // 设置NLineInputFormat 的处理格式
            job.setInputFormatClass(NLineInputFormat.class);
            TextInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
        public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
            @Override
            protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
                int count = 0;
                for (IntWritable value : values) {
        
                    count += value.get();
                }
    
                // 输出
                context.write(word, new IntWritable(count));
            }
        }
    
    
        public static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        
    
            IntWritable ONE = new IntWritable(1);
    
            @Override
            protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
    
                String[] splits = value.toString().split(",");
                for (String word : splits) {
        
                    context.write(new Text(word), ONE);
                }
            }
        }
    }

当前我们没有设置按照多少行进行处理，直接运行看看默认

![在这里插入图片描述][2af03a17ff1a4f32ad7ca7dc63739079.png_pic_center]

OK， 效果很明显，一个文件切了10片，说明默认是1行切一个片

设置一下

// 设置每个分片划分的记录条数
            NLineInputFormat.setNumLinesPerSplit(job, 5);

![在这里插入图片描述][b94d982002d14616889f92a30022d92d.png_pic_center]

再来一次

![在这里插入图片描述][67e4a368d67449fa8c4f297e18db3ae6.png_pic_center]

没问题，文件中是10行pk，相当于10个数据，每5个数据一个分片，2个分片，如果除不清，那就往上取整。

[48755b221d8a463ab65e1a5583d294a9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/54b2f3eebaaa4557a64441fc5c274f1b.png
[d1105b7469344a818b3ab5d753120530.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2c62a30e75a741d1addf9464dc9596a1.png
[688ae5a7066d43e8a9503c18f492198c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/60c817144f474b959db993be507c546c.png
[d315f93ca0584fe28a955d5d477e9081.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4d5ebecdf2ef41aca4527dbc0dedeabc.png
[2af03a17ff1a4f32ad7ca7dc63739079.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b447b97b6eb04d0c836c26135597d634.png
[b94d982002d14616889f92a30022d92d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9fefe0c2b5bd449aad9add2ff384b72e.png
[67e4a368d67449fa8c4f297e18db3ae6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1bdee3e125ec4470b043ca5433998886.png