轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.3 【重要必掌握】MapReduce思想

墨蓝 2024-03-22 18:31 34阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.3 【重要!必掌握】MapReduce思想

![在这里插入图片描述][282ccd6e22974e92a99045cc2e2d0694.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.3 【重要!必掌握】MapReduce思想 ######

MR 是处理大规模数据的，而且是并行处理

我们之前已经知道了HDFS 是按照块进行存储的，关于并行，如果我有10 个块，资源够的情况下，我直接开10 个作业去处理这些数据。

![在这里插入图片描述][3f92b1b89b9e429a8c617b846159dcfb.png_pic_center]

这里有个200M 的文件，分为两块存储在不同的DN 上，

要想实现并行，

通常情况下，一个MR 作业由两部分构成，MapTask + ReduceTask

![在这里插入图片描述][d66f5248162e48048042e710cc56c971.png_pic_center]

Map 如何到Reduce ，中间就是Shuffle

![在这里插入图片描述][6f0ab02be22e4aba980e1b33edad778c.png_pic_center]

当然Map和Reduce 并没有把分组固定死，

![在这里插入图片描述][6ded3e169b244d3aa20df70f5960dd40.png_pic_center]

两种情况都可能发生【根据数据的分布情况(key)来的】

ReduceTask 执行完成后，会有文件输出

![在这里插入图片描述][eccccb3ac4d6403bb691fa68fbb9f5d1.png_pic_center]

可以看到，意思就是有多少个Reduce，最后就会有多少个输出文件

这整个过程可以分为几个阶段：

MapTask 数量一般不自己设置，但是ReduceTask 经常进行设置。【频次不同】

![在这里插入图片描述][a74ecb675d3a45d3acdfde2d7afaf167.png_pic_center]

这就是大概的整个过程，对于我们进行MR 编程来说，

MR 编程思想：

1.  **去开发自定义的Mapper**
2.  **去开发自定义的Reducer**

[282ccd6e22974e92a99045cc2e2d0694.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/bffae68ff2a945c39a0191b3030e253f.png
[3f92b1b89b9e429a8c617b846159dcfb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/ecc6f518152c4819a5c5f1ee0c88103c.png
[d66f5248162e48048042e710cc56c971.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e20d462bf9d84c8eb602245e1f9914a5.png
[6f0ab02be22e4aba980e1b33edad778c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/198af836a5864a0d859b580401e38789.png
[6ded3e169b244d3aa20df70f5960dd40.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/682ee7b79d6940ba9919909e69780b96.png
[eccccb3ac4d6403bb691fa68fbb9f5d1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a727b3294b80473698aae14a37b4406b.png
[a74ecb675d3a45d3acdfde2d7afaf167.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/a1e296e6385d4f83b9b43c186504f8dc.png