轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.44 MapReduce全流程之MapTask工作原理

比眉伴天荒 2024-03-17 09:13 3阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.44 MapReduce全流程之MapTask工作原理

![在这里插入图片描述][03fb60b9f6a24c839aec858aad92e5eb.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.44 MapReduce全流程之MapTask工作原理 ######

OK，到这里，我们已经了解了MR 中的各类核心编程。

下面是MR 中整体的执行流程【重要重要重要，必须掌握】

`MR 整体执行流程` 【能达到自己说自己画的程度，面试经常考】

![在这里插入图片描述][90906217b2bc4abe805dc671a3a8e8cb.png_pic_center]

现在有一个150M 大小的文件，它会被分成两个分片，从而有2个 MapTask

![在这里插入图片描述][aebf5d6256bb473da15d2c31893be40b.png_pic_center]

看到wc 词频统计程序的提交作业这里，进去看看

![在这里插入图片描述][cffc8886afe646688abd4c9f7599f289.png_pic_center]

这个提交\[当然这里只是非常浅的提一下，后面会有专门讲源码的章节\]

进入这个`submit()`

![在这里插入图片描述][d345929c4a504aa28bd45446df5738f5.png_pic_center]

再进这个

![在这里插入图片描述][ff1b201705b64d988ff0ae22f6658145.png_pic_center]

看到这个地方，它会记录我们的map 数量

![在这里插入图片描述][b412bb7f2e1f47c59444394b2f839e65.png_pic_center]

这个方法就是最关键的，当然这次我们不看

![在这里插入图片描述][71293e79b35d4e42a544438df444c406.png_pic_center]

这句日志，我们在前面每一个栗子中都看到过，输出分片的数量

![在这里插入图片描述][af14b1bdda0b4610b1f27ab322112c6b.png_pic_center]

将对应的信息都写到一个地方去

所以

![在这里插入图片描述][258d0eb3bd2045be906dd6525481a4a4.png_pic_center]

这一步在我们整个作业阶段中我们说的是读

> 其实后面我们会学到，这些Task 会提交到YARN，当然现在我们先不关心这个东西

现在我们能确定的是当前任务需要两个maptask 完成

![在这里插入图片描述][7014b1b5f67942a2bc52c46ac2ec1710.png_pic_center]

现在maptask 就应该去文件中读数据了，使用的是`InputFormat` API，它里面有一个读取器，这都是我们之前学到了的

![在这里插入图片描述][477178537ec0462c9d3361a77c878570.png_pic_center]

然后每个MT 就是我们自定义的Mapper 了，它继承自Mapper 类，其中有四个方法(map、setup、cleanup、run)

最后是通过`context` 上下文

![在这里插入图片描述][6737cdfb98684f639f63cc4fe950d8a5.png_pic_center]

把数据写出去

![在这里插入图片描述][9cf2d5b6bc444b679764031780efc42d.png_pic_center]

输出到哪里？

这里有一个环形缓冲区的概念，我们可以粗略的理解成内存，数据会先写到环形缓冲区

> 如果我们带有分区信息，环形缓冲区同样是知道的

如果作业很大，内存装满了怎么办？写到文件里面去

![在这里插入图片描述][d8cdd88b077f4570bbacf2c80d8c5f77.png_pic_center]

当然如果文件够大，可能会刷出多个文件

![在这里插入图片描述][19c51aced8c9482094bbf43201f374bb.png_pic_center]

MapTask 完成时，它会把当前MT 中所有的输出做一次归并排序(合并动作)，即将多个文件合成一个。

![在这里插入图片描述][936a0293bd1e4101bda63362190aed7b.png_pic_center]

同样分区内有序。到这里MAP 的动作就完成了

![在这里插入图片描述][ef5293fb9d5e417e9a6c91c3baccd424.png_pic_center]

> 顺带提一嘴，溢写到磁盘的时候是可以进行压缩的
> 
> 而且在MAP 过程，可以加入Combiner 预计算
> 
> ![在这里插入图片描述][c648631dc64b413cbd29bfdaed36ba9a.png_pic_center]

最终一个MT 生成一个文件

[03fb60b9f6a24c839aec858aad92e5eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0aa431c2165d4260b98e796025e5449a.png
[90906217b2bc4abe805dc671a3a8e8cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/48d5d9787a804e42bef9bd752d27ad35.png
[aebf5d6256bb473da15d2c31893be40b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/206b87887e04427db15d98523a1d6018.png
[cffc8886afe646688abd4c9f7599f289.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d74990d2f6bb47ea99a1aaf292257c77.png
[d345929c4a504aa28bd45446df5738f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b345881f9afc4822a7846bac7124ef10.png
[ff1b201705b64d988ff0ae22f6658145.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5a9492ff8088471288a92d4988fb0f94.png
[b412bb7f2e1f47c59444394b2f839e65.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9d7c3fb7ee43428d94fb11e268a4cedb.png
[71293e79b35d4e42a544438df444c406.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/11800fabdefa44e2847dfcd658d36cef.png
[af14b1bdda0b4610b1f27ab322112c6b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/50473aeda5fb4af89a762f7d662479db.png
[258d0eb3bd2045be906dd6525481a4a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/75ba703f6cfe4e20954b6f1773fba215.png
[7014b1b5f67942a2bc52c46ac2ec1710.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/61ac2b5398954de7b416d0c4be7f5bc0.png
[477178537ec0462c9d3361a77c878570.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2c6b9ad635b14ff891eaa052e8ea683b.png
[6737cdfb98684f639f63cc4fe950d8a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cbbe858397534041817f3779828130de.png
[9cf2d5b6bc444b679764031780efc42d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/548c9a584d6c403bbe457b780cee537d.png
[d8cdd88b077f4570bbacf2c80d8c5f77.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/84393db5060b4873862b3ec3205753a1.png
[19c51aced8c9482094bbf43201f374bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c9aabf860efa4600bcef6f5b86398e41.png
[936a0293bd1e4101bda63362190aed7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9bd5e890a05b4d7f85395d70773510c2.png
[ef5293fb9d5e417e9a6c91c3baccd424.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/12830b5a392743399f921ea748e72f31.png
[c648631dc64b413cbd29bfdaed36ba9a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bcf2b0c79a5a4d48aacbc6de8cdc51a7.png