Hadoop之MapReduce简介

偏执的太偏执、 2022-04-10 09:50 294阅读 0赞

### Hadoop之MapReduce简介 ###

*  1.请带着为什么需要MapReduce的问题看完全文?
 *  2.MapReduce定义
 *  3.MapReduce优缺点
 *   *  3.1 优点
     *  3.2 缺点
 *  4.MapReduce核心思想
 *   *  4.1 图解
     *  4.2 流程简介
     *  4.3 MapReduce进程（完整的MapReduce程序在分布式运行时有三类实例进程）
 *  5.MapReduce编程规范
 *   *  5.1 Mapper阶段
     *  5.2 Reducer阶段
     *  5.3 Driver阶段

在元旦后的第一天终于正式把HDFS结束掉了，有些时候感觉时间还是很不够！所以有些东西可能省略了很多的细讲。。。不过自己看应该还是可以看懂的（无情、冷漠！！！）

# 1.请带着为什么需要MapReduce的问题看完全文? #

# 2.MapReduce定义 #

1.Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架  
2.Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上

# 3.MapReduce优缺点 #

## 3.1 优点 ##

1.MapReduce 易于编程: 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行  
2.良好的扩展性:当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力  
3.高容错性: MapReduce**设计的初衷就是使程序能够部署在廉价的PC机器上**，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的  
4.适合PB级以上海量数据的离线处理: 这里的体离线处理，说明它适合离线处理而不适合在线处理。比如像毫秒级别的返回一个结果，MapReduce很难做到

## 3.2 缺点 ##

1.实时计算： MapReduce无法像Mysql一样，在毫秒或者秒级内返回结果  
2.流式计算： 流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的  
3.DAG（有向图）计算： 多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下

# 4.MapReduce核心思想 #

## 4.1 图解 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]

## 4.2 流程简介 ##

1.分布式的运算程序往往需要分成至少2个阶段。  
2.第一个阶段的maptask并发实例，完全并行运行，互不相干。  
3.第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。  
4.MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程序，串行运行。

## 4.3 MapReduce进程（完整的MapReduce程序在分布式运行时有三类实例进程） ##

1.MrAppMaster：负责整个程序的过程调度及状态协调。  
2.MapTask：负责map阶段的整个数据处理流程。  
3.ReduceTask：负责reduce阶段的整个数据处理流程。

# 5.MapReduce编程规范 #

## 5.1 Mapper阶段 ##

1.用户自定义的Mapper要继承自己的父类  
2.Mapper的输入数据是KV对的形式（KV的类型可自定义）  
3.Mapper中的业务逻辑写在map()方法中  
4.Mapper的输出数据是KV对的形式（KV的类型可自定义）  
5.map()方法（maptask进程）对每一个<K,V>调用一次

## 5.2 Reducer阶段 ##

1.用户自定义的Reducer要继承自己的父类  
2.Reducer的输入数据类型对应Mapper的输出数据类型，也是KV  
3.Reducer的业务逻辑写在reduce()方法中  
4.Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法

## 5.3 Driver阶段 ##

1.整个程序需要一个Drvier来进行提交，提交的是一个描述了各种必要信息的job对象

面对第一个问题，其实我曾经也想过很久，也查过一些资料，后来我发现都是长篇大论的时候，就真的很令人绝望了，**而我个人观点**他的优点也就基本是为什么的原因，而他的缺点也就是其他技术诞生的原因！

***版权声明：本博客为记录本人自学感悟，转载需注明出处！***  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220401/b7001f76b8bc4b939480474bbc5732a9.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909