MapReduce On YARN的工作原理

￡神魔★判官ぃ 2022-06-14 02:54 206阅读 0赞

## MapReduce On YARN  ##

**MapReduce计算框架**

将计算过程分为两个阶段：Map和Reduce

Map阶段并行处理输入数据；

Reduce阶段对Map结果进行汇总

Shuffle连接Map和Reduce两个阶段

Map Task将数据写到本地磁盘；

Reduce Task从每个Map Task上读取一份数据；

仅适合离线批处理

具有较好的容错性和扩展性；

适合批处理任务；

缺点：

启动Map/Reduce任务开销大、过多使用磁盘导致IO频繁等；

**MapReduce On YARN（MRv2）**

YARN负责资源管理和调度；ApplicationMaster负责任务管理；

MRAppMaster任务调度：

1）YARN将资源分配给MRAppMaster；

2）MRAppMaster进一步将资源分配给内部的任务；

MRAppMaster容错：

1）MRAppMaster失败后，由YARN重新启动；

2）任务失败后，MRAppMaster重新申请资源；

**MapReduce On YARN工作原理**

![MapReduce on yarn的工作原理图解][MapReduce on yarn]

1）用户向YARN中提交应用程序/作业，其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等；  
2）ResourceManager为作业分配第一个Container，并与对应的NodeManager通信，要求它在这个Containter中启动该作业的ApplicationMaster；

3）ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查询作业的运行状态；然后它将为各个任务申请资源并监控任务的运行状态，直到运行结束。即重复步骤4-7；

4）ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源；

5）一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务；

6）NodeManager启动任务；

7）各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicaitonMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；  
在作业运行过程中，用户可随时通过RPC向ApplicationMaster查询作业当前运行状态；

8）作业完成后，ApplicationMaster向ResourceManager注销并关闭自己；

### hadoop MapReduce yarn 是什么 ###

ARN是Apache的新引入的子系统，与MapReduce和HDFS并列，是一个资源管理系统，如果你了解MapReduce，那么可对比理解  
YARN，它的基本设计思想是将MapReduce中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器  
ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和  
分配，而ApplicationMaster则负责单个应用程序的管理。  
来源：www.bkjia.com/...-view/

[MapReduce on yarn]: http://www.bkjia.com/post/uploads/allimg/141010/0512151a2-0.png