Hadoop系列 mapreduce 原理分析

川长思鸟来 2021-09-21 08:10 356阅读 0赞

以wordcount 为例

[https://blog.csdn.net/weixin\_43291055/article/details/106488839][https_blog.csdn.net_weixin_43291055_article_details_106488839]

步骤一：split

![format_png][]

步骤二：map阶段

![format_png 1][]

步骤三：combine阶段(可选)---将同一台机器上的相同的数据进行合并，减少网络传输

combiner其实也是一种reduce操作，因此我们看见WordCount类里是用reduce进行加载的。Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作，例如我们对文件里的单词频率做统计，map计算时候如果碰到一个hadoop的单词就会记录为1，但是这篇文章里hadoop可能会出现n多次，那么map输出文件冗余就会很多，因此在reduce计算前对相同的key做一个合并操作，那么文件会变小，这样就提高了宽带的传输效率，毕竟hadoop计算力宽带资源往往是计算的瓶颈也是最为宝贵的资源，但是combiner操作是有风险的，使用它的原则是combiner的输入不会影响到reduce计算的最终输入，例如：如果计算只是求总数，最大值，最小值可以使用combiner，但是做平均值计算使用combiner的话，最终的reduce计算结果就会出错。

**平均值不能用combine的原因：不能直接使用reduce**

平均值的计算:[https://blog.csdn.net/yapuge/article/details/24373063][https_blog.csdn.net_yapuge_article_details_24373063]

![format_png 2][]

步骤四：shuffle阶段

[https://www.jianshu.com/p/c2a5468f0c5c][https_www.jianshu.com_p_c2a5468f0c5c]

步骤五：reduce

![format_png 3][]

参考：

[https://www.jianshu.com/p/c2a5468f0c5c][https_www.jianshu.com_p_c2a5468f0c5c]

[https://blog.csdn.net/shujuelin/article/details/79119214][https_blog.csdn.net_shujuelin_article_details_79119214]

[http://dblab.xmu.edu.cn/wp-content/uploads/2016/01/Chapter7-%E5%8E%A6%E9%97%A8%E5%A4%A7%E5%AD%A6-%E6%9E%97%E5%AD%90%E9%9B%A8-%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%EF%BC%88%E7%AC%AC2%E7%89%88%E6%95%99%E6%9D%90%EF%BC%89-%E7%AC%AC7%E7%AB%A0-MapReduce%EF%BC%882017%E5%B9%B42%E6%9C%88%E7%89%88%E6%9C%AC%EF%BC%89.pdf][http_dblab.xmu.edu.cn_wp-content_uploads_2016_01_Chapter7-_E5_8E_A6_E9_97_A8_E5_A4_A7_E5_AD_A6-_E6_9E_97_E5_AD_90_E9_9B_A8-_E5_A4_A7_E6_95_B0_E6_8D_AE_E6_8A_80_E6_9C_AF_E5_8E_9F_E7_90_86_E4_B8_8E_E5_BA_94_E7_94_A8_EF_BC_88_E7_AC_AC2_E7_89_88_E6_95_99_E6_9D_90_EF_BC_89-_E7_AC_AC7_E7_AB_A0-MapReduce_EF_BC_882017_E5_B9_B42_E6_9C_88_E7_89_88_E6_9C_AC_EF_BC_89.pdf]

[https_blog.csdn.net_weixin_43291055_article_details_106488839]: https://blog.csdn.net/weixin_43291055/article/details/106488839
[format_png]: /images/20210920/7af48aa51445420f98be1fe6c56bf547.png
[format_png 1]: /images/20210920/ed362cd801da4db19b72bf8488da161c.png
[https_blog.csdn.net_yapuge_article_details_24373063]: https://blog.csdn.net/yapuge/article/details/24373063
[format_png 2]: /images/20210920/07052279bf8d4ce5aed7987363d0ab55.png
[https_www.jianshu.com_p_c2a5468f0c5c]: https://www.jianshu.com/p/c2a5468f0c5c
[format_png 3]: /images/20210920/bc87e412c07c496ea346293a0554191c.png
[https_blog.csdn.net_shujuelin_article_details_79119214]: https://blog.csdn.net/shujuelin/article/details/79119214
[http_dblab.xmu.edu.cn_wp-content_uploads_2016_01_Chapter7-_E5_8E_A6_E9_97_A8_E5_A4_A7_E5_AD_A6-_E6_9E_97_E5_AD_90_E9_9B_A8-_E5_A4_A7_E6_95_B0_E6_8D_AE_E6_8A_80_E6_9C_AF_E5_8E_9F_E7_90_86_E4_B8_8E_E5_BA_94_E7_94_A8_EF_BC_88_E7_AC_AC2_E7_89_88_E6_95_99_E6_9D_90_EF_BC_89-_E7_AC_AC7_E7_AB_A0-MapReduce_EF_BC_882017_E5_B9_B42_E6_9C_88_E7_89_88_E6_9C_AC_EF_BC_89.pdf]: http://dblab.xmu.edu.cn/wp-content/uploads/2016/01/Chapter7-%E5%8E%A6%E9%97%A8%E5%A4%A7%E5%AD%A6-%E6%9E%97%E5%AD%90%E9%9B%A8-%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%EF%BC%88%E7%AC%AC2%E7%89%88%E6%95%99%E6%9D%90%EF%BC%89-%E7%AC%AC7%E7%AB%A0-MapReduce%EF%BC%882017%E5%B9%B42%E6%9C%88%E7%89%88%E6%9C%AC%EF%BC%89.pdf