MapReduce on Yarn 的流程和架构图

r囧r小猫 2024-02-19 17:46 40阅读 0赞

### Yarn: ###

job app application 都指的是作业

ResourceManager 资源作业管理者  
Applications Manager 所有的作业管理  
Resource Scheduler 资源调度

NodeManager 节点者

### MapReduce on Yarn 的流程 ###

\*\*1.\*\*用户向yarn提交应用程序(job)，  
其中包括applicationMaster程序、  
启动applicationMaster命令等

**2**.RM为该job分配第一个容器，  
并与对应的NM通信，要求它在  
这个容器中去启动job的MR applicationMaster程序。

**3**.applicationMaster首先向Applications Manager注册，  
用户就可以直接在web界面查看job的整个运行状态  
和日志。

**4**.applicationMaster向Resource Scheduler ，向申请资源，拿到资源调度器  
采用轮询的方式通过RPC协议去申请和领取资源列表

**5**.一旦applicationMaster申请到资源的后，便于对应的NM节点通信，要求启动任务。

\*\*6.\*\*NM为任务task设置好运行环境(环境变量、jar包等)，将任务的启动命令写在一个脚本文件中，  
并通过这个脚本【启动任务】；

\*\*7.\*\*各个task通过rpc向applicationMaster汇报自己的状态和进度。  
以让applicationMaster随时掌握各个任务的运行状态，从而可以在任务运行时重新启动任务。  
则web界面可以实时查看job的当前的运行状态。

\*\*8.\*\*job运行完成后，applicationMaster向RM注销并关闭自己。

**2个阶段:**  
2.1 启动applicationMaster  
2.2 由applicationMaster创建job，为它上去  
资源，并监控它的整个运行过程，直到运行完成。

### 架构图： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/ebada6db88664057ba2f589e08d4f193.png

发表评论取消回复

表情：

评论列表（有 0 条评论，40人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce & YARN 的部署

1、部署说明 Hadoop HDFS分布式文件系统，我们会启动： NameNode进程作为管理节点 DataNode进程作为工作节点 Secondar

Love The Way You Lie/ 2024年03月02日 08:00/ 0 赞/ 69 阅读

相关 MapReduce on Yarn 的流程和架构图

Yarn: job app application 都指的是作业 ResourceManager 资源作业管理者 Applications Manager 所有的作

r囧r小猫/ 2024年02月19日 17:46/ 0 赞/ 41 阅读

相关 Spark面试：Spark on yarn 运行流程

一： Spark on YARN能让Spark计算模型在云梯YARN集群上运行，直接读取云梯上的数据，并充分享受云梯YARN集群丰富的计算资源。二：基于YARN

ゝ一纸荒年。/ 2024年02月19日 15:08/ 0 赞/ 71 阅读

相关 Dubbo架构图和Dubbo执行流程

一：Dubbo架构图和Dubbo执行流程 Dubbo架构图 ![b21456818890fcdd150788711dfc5ff5.png][] 从架构图可以看出，

向右看齐/ 2022年10月12日 05:24/ 0 赞/ 137 阅读

相关 Hadoop MapReduce和Yarn的关系

YARN并不是下一代 MapReduce （MRv2），下一代 MapReduce 与第一代 MapReduce （MRv1）在编程接口、数据处理引擎（MapTask和Redu

朱雀/ 2022年07月14日 05:28/ 0 赞/ 177 阅读

相关 MapReduce On YARN的工作原理

MapReduce On YARN MapReduce计算框架将计算过程分为两个阶段：Map和Reduce 　　Map阶段并行处理输入数据；　　Reduce阶

￡神魔★判官ぃ/ 2022年06月14日 02:54/ 0 赞/ 222 阅读

相关 SpringMVC流程架构图

[01\_SpringMVC流程架构图][01_SpringMVC] 【组件说明】以下组件通常使用框架提供实现： 1.DisPatcherServlet：前端控制器

╰半夏微凉°/ 2022年04月10日 06:21/ 0 赞/ 273 阅读

相关 Spark on Yarn架构原理

一. 前言 SPARK相关概念 1. Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。 2. ClusterManage

怼烎@/ 2022年04月04日 05:37/ 0 赞/ 295 阅读

相关 3.MapReduce原理和Yarn

1、MapReduce原理 2.MapReduce执行时间 3.MapReduce开发 4.Yarn 转载于:https://www.cnblogs.com/Fires

深碍√TFBOYSˉ_/ 2022年01月10日 15:23/ 0 赞/ 215 阅读

相关 Flink On Yarn 架构/Job启动流程/部署模式

![ee7ddfda607ff7aa708b9b51bdd43167.png][] [https://www.cnblogs.com/163yun/p/9882411.h

港控/mmm°/ 2021年09月25日 03:04/ 0 赞/ 402 阅读