轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.28 InputSplit和Block的关系

素颜马尾好姑娘i 2024-03-22 19:33 50阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.28 InputSplit和Block的关系

![在这里插入图片描述][d45b7826898f425bb3ef2f50d6be8003.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.28 InputSplit和Block的关系 ######

看到官网：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![在这里插入图片描述][52d6100b026c44c990720373c81422ff.png_pic_center]

看到这里【作业输入】

InputFormat描述了 MapReduce 作业的输入规范。

MapReduce 框架依赖于InputFormat作业来：

1.  验证作业的输入规范。
2.  将输入文件拆分为逻辑InputSplit实例，然后将每个实例分配给一个单独的Mapper.
3.  提供RecordReader用于从逻辑中收集输入记录InputSplit以供Mapper.

> 和我们在源码中解释的一样
> 
> ![在这里插入图片描述][2dfb8671183c4f9db256d648fd923c8e.png_pic_center]

基于文件的实现（通常是FileInputFormat，它是InputFormat的子类）的默认行为是根据输入文件的总大小（以字节为单位）将输入拆分为逻辑实例。

但是，输入文件的块大小被视为输入拆分的上限。可以通过 `InputSplitFileSystemmapreduce.input.fileinputformat.split.minsize` 设置拆分大小的下限。

显然，基于输入大小的逻辑拆分对于许多应用程序来说是不够的，因为必须遵守记录边界。在这种情况下，应用程序应该实现一个RecordReader，负责遵守记录边界并InputSplit为单个任务提供逻辑的面向记录的视图。

TextInputFormat是默认值InputFormat。

如果TextInputFormat是InputFormat给定作业的，框架会检测具有.gz扩展名的输入文件，并使用适当的 .gz 自动解压缩它们CompressionCodec。但是，必须注意的是，具有上述扩展名的压缩文件不能被拆分，并且每个压缩文件都由单个映射器整体处理。

**输入拆分**

InputSplit表示要由个人处理的数据Mapper。

通常InputSplit呈现输入的面向字节的视图，它负责RecordReader处理和呈现面向记录的视图。

FileSplit是默认的InputSplit。它设置mapreduce.map.input.file为逻辑拆分的输入文件的路径。

![在这里插入图片描述][2e8ea4522e2a49f38bb137ffb36f59b8.png_pic_center]

OK，之前我们已经提到了一个并行度的问题

![在这里插入图片描述][e96b9f28c65f485d9037f0a56e1e8404.png_pic_center]

其实在MR中，MR中MapTask并行度是和InputSplit的个数直接挂钩的

有多少个InputSplit 进来就对应着有多少个 MapTask

1G 8个Task 100M 8个Task？【后面肯定就不合适，100M 一个Task 就能跑了】

所以在MR中作业中，MapTask的个数越多越好吗？ 答案： X

MapTask在底层对应着的是 JVM的进程。

【小结】一个MR作业，Mapper阶段的并行度是由InputSplit（切片）的个数来决定【但是它是怎么做到的，我们接着看下去】

[d45b7826898f425bb3ef2f50d6be8003.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/832baf236c80415c9a65bb7bf117a3f9.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[52d6100b026c44c990720373c81422ff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a454a3b393114d028518be8d706b5eab.png
[2dfb8671183c4f9db256d648fd923c8e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/60feb781b5e843e1b3c7ebbe66833e4b.png
[2e8ea4522e2a49f38bb137ffb36f59b8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1acc06286e2b44488e1cc7d5241d7188.png
[e96b9f28c65f485d9037f0a56e1e8404.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7d8596e1b4c74394a9518aefc75a79b9.png