轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.44 MapReduce全流程之MapTask工作原理

比眉伴天荒 2024-03-17 09:13 36阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.44 MapReduce全流程之MapTask工作原理

![在这里插入图片描述][03fb60b9f6a24c839aec858aad92e5eb.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.44 MapReduce全流程之MapTask工作原理 ######

OK，到这里，我们已经了解了MR 中的各类核心编程。

下面是MR 中整体的执行流程【重要重要重要，必须掌握】

`MR 整体执行流程` 【能达到自己说自己画的程度，面试经常考】

![在这里插入图片描述][90906217b2bc4abe805dc671a3a8e8cb.png_pic_center]

现在有一个150M 大小的文件，它会被分成两个分片，从而有2个 MapTask

![在这里插入图片描述][aebf5d6256bb473da15d2c31893be40b.png_pic_center]

看到wc 词频统计程序的提交作业这里，进去看看

![在这里插入图片描述][cffc8886afe646688abd4c9f7599f289.png_pic_center]

这个提交\[当然这里只是非常浅的提一下，后面会有专门讲源码的章节\]

进入这个`submit()`

![在这里插入图片描述][d345929c4a504aa28bd45446df5738f5.png_pic_center]

再进这个

![在这里插入图片描述][ff1b201705b64d988ff0ae22f6658145.png_pic_center]

看到这个地方，它会记录我们的map 数量

![在这里插入图片描述][b412bb7f2e1f47c59444394b2f839e65.png_pic_center]

这个方法就是最关键的，当然这次我们不看

![在这里插入图片描述][71293e79b35d4e42a544438df444c406.png_pic_center]

这句日志，我们在前面每一个栗子中都看到过，输出分片的数量

![在这里插入图片描述][af14b1bdda0b4610b1f27ab322112c6b.png_pic_center]

将对应的信息都写到一个地方去

所以

![在这里插入图片描述][258d0eb3bd2045be906dd6525481a4a4.png_pic_center]

这一步在我们整个作业阶段中我们说的是读

> 其实后面我们会学到，这些Task 会提交到YARN，当然现在我们先不关心这个东西

现在我们能确定的是当前任务需要两个maptask 完成

![在这里插入图片描述][7014b1b5f67942a2bc52c46ac2ec1710.png_pic_center]

现在maptask 就应该去文件中读数据了，使用的是`InputFormat` API，它里面有一个读取器，这都是我们之前学到了的

![在这里插入图片描述][477178537ec0462c9d3361a77c878570.png_pic_center]

然后每个MT 就是我们自定义的Mapper 了，它继承自Mapper 类，其中有四个方法(map、setup、cleanup、run)

最后是通过`context` 上下文

![在这里插入图片描述][6737cdfb98684f639f63cc4fe950d8a5.png_pic_center]

把数据写出去

![在这里插入图片描述][9cf2d5b6bc444b679764031780efc42d.png_pic_center]

输出到哪里？

这里有一个环形缓冲区的概念，我们可以粗略的理解成内存，数据会先写到环形缓冲区

> 如果我们带有分区信息，环形缓冲区同样是知道的

如果作业很大，内存装满了怎么办？写到文件里面去

![在这里插入图片描述][d8cdd88b077f4570bbacf2c80d8c5f77.png_pic_center]

当然如果文件够大，可能会刷出多个文件

![在这里插入图片描述][19c51aced8c9482094bbf43201f374bb.png_pic_center]

MapTask 完成时，它会把当前MT 中所有的输出做一次归并排序(合并动作)，即将多个文件合成一个。

![在这里插入图片描述][936a0293bd1e4101bda63362190aed7b.png_pic_center]

同样分区内有序。到这里MAP 的动作就完成了

![在这里插入图片描述][ef5293fb9d5e417e9a6c91c3baccd424.png_pic_center]

> 顺带提一嘴，溢写到磁盘的时候是可以进行压缩的
> 
> 而且在MAP 过程，可以加入Combiner 预计算
> 
> ![在这里插入图片描述][c648631dc64b413cbd29bfdaed36ba9a.png_pic_center]

最终一个MT 生成一个文件

[03fb60b9f6a24c839aec858aad92e5eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0aa431c2165d4260b98e796025e5449a.png
[90906217b2bc4abe805dc671a3a8e8cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/48d5d9787a804e42bef9bd752d27ad35.png
[aebf5d6256bb473da15d2c31893be40b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/206b87887e04427db15d98523a1d6018.png
[cffc8886afe646688abd4c9f7599f289.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d74990d2f6bb47ea99a1aaf292257c77.png
[d345929c4a504aa28bd45446df5738f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b345881f9afc4822a7846bac7124ef10.png
[ff1b201705b64d988ff0ae22f6658145.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5a9492ff8088471288a92d4988fb0f94.png
[b412bb7f2e1f47c59444394b2f839e65.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9d7c3fb7ee43428d94fb11e268a4cedb.png
[71293e79b35d4e42a544438df444c406.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/11800fabdefa44e2847dfcd658d36cef.png
[af14b1bdda0b4610b1f27ab322112c6b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/50473aeda5fb4af89a762f7d662479db.png
[258d0eb3bd2045be906dd6525481a4a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/75ba703f6cfe4e20954b6f1773fba215.png
[7014b1b5f67942a2bc52c46ac2ec1710.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/61ac2b5398954de7b416d0c4be7f5bc0.png
[477178537ec0462c9d3361a77c878570.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2c6b9ad635b14ff891eaa052e8ea683b.png
[6737cdfb98684f639f63cc4fe950d8a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cbbe858397534041817f3779828130de.png
[9cf2d5b6bc444b679764031780efc42d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/548c9a584d6c403bbe457b780cee537d.png
[d8cdd88b077f4570bbacf2c80d8c5f77.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/84393db5060b4873862b3ec3205753a1.png
[19c51aced8c9482094bbf43201f374bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c9aabf860efa4600bcef6f5b86398e41.png
[936a0293bd1e4101bda63362190aed7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9bd5e890a05b4d7f85395d70773510c2.png
[ef5293fb9d5e417e9a6c91c3baccd424.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/12830b5a392743399f921ea748e72f31.png
[c648631dc64b413cbd29bfdaed36ba9a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bcf2b0c79a5a4d48aacbc6de8cdc51a7.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.44 MapReduce全流程之MapTask工作原理

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.30 认识FileInputFormat

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.3 【重要必掌握】MapReduce思想

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.48 MapReduce全流程之加强

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.47 MapReduce全流程之调优

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.46 MapReduce全流程之Shuffle工作原理

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.44 MapReduce全流程之MapTask工作原理

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.34 DBInputFormat编程