Yarn的工作原理、流程【重要】

客官°小女子只卖身不卖艺 2023-10-14 11:57 47阅读 0赞

![up-8ad8ac22f12a5824a738f6142c106ecbeea.png][]

![up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg][]

（1）首先，MR程序提交到客户端所在的结点，YarnRunner开始向ResourceManager申请一个Application，ResourceManager收到请求后返回给YarnRunner一个资源路径，随后该程序将运行所需的资源提交到HDFS上，资源提交完毕之后会向ResourceManager申请运行MRApplication。

（2）ResourceManager会将用户请求初始化成一个Task放入调度器中，默认使用Capacity Scheduler容量调度器。

（3）接着，由其中一个NodeManager领取到Task任务，该NodeManager会创建容器Container，并产生MRAPPMaster。其中，Container会从HDFS上拷贝资源到本地，MRAppMaster会向ResourceManager申请运行MapTask资源。

（4）然后，ResourceManager将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器。

（5）接着，MRAppMaster会向接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据进行分区排序。

（6）MRAPPMaster等待所有MapTask运行完毕之后，会再次向ResourceManager申请容器，来运行ReduceTask。ReduceTask向MapTask获取相应的分区数据。

（7）最后，待程序运行完毕之后，MRAPPMaster会向ResourceManager申请注销自己，释放资源。

[up-8ad8ac22f12a5824a738f6142c106ecbeea.png]: https://oscimg.oschina.net/oscnet/up-8ad8ac22f12a5824a738f6142c106ecbeea.png
[up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg]: https://oscimg.oschina.net/oscnet/up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，47人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据_YARN的工作原理

目录一、YARN产生的背景二、YARN的设计思想三、YARN的基本架构四、YARN的工作流程 -------------------- 一、YARN产生的

喜欢ヅ旅行/ 2024年04月03日 08:27/ 0 赞/ 58 阅读

相关 5.RabbitMQ的工作原理（重要）

工作原理： RabbitMQ 有 4 个组件：生产者、Exchange、queue 队列、消费者。当生产者发出一条消息时，先经过 Exchange，由 Exchan

曾经终败给现在/ 2023年10月14日 12:07/ 0 赞/ 42 阅读

相关 MapReduce的原理、流程【重要】

MapReduce分为两个阶段，Map阶段和Reduce阶段： ![up-22fde71ce70c3ede48e02ffafe55e2ba381.png][] Map

秒速五厘米/ 2023年10月14日 11:59/ 0 赞/ 46 阅读

相关 Yarn的工作原理、流程【重要】

![up-8ad8ac22f12a5824a738f6142c106ecbeea.png][] ![up-4ae15c44d3fd2408b86c7df1cdb261c799

客官°小女子只卖身不卖艺/ 2023年10月14日 11:57/ 0 赞/ 48 阅读

相关 Hadoop-Yarn-工作机制、job的提交流程

Hadoop-Yarn-工作机制、job的提交流程文章目录 Hadoop-Yarn-工作机制、job的提交流程 Yarn基本概述

客官°小女子只卖身不卖艺/ 2023年03月02日 10:41/ 0 赞/ 26 阅读

相关 Kafka--原理--工作流程

原文网址：[Kafka--原理--工作流程\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN] 简介本文介绍Kafka的工作流程（工作原理

蔚落/ 2022年11月05日 03:06/ 0 赞/ 357 阅读

相关 Hystrix工作流程原理

一、Hystrix的介绍 Hystrix是netflix开源的一个容灾框架，解决当外部依赖故障时拖垮业务系统、甚至引起雪崩的问题。 Hystrix是豪猪的意思。豪猪是一

朴灿烈づ我的快乐病毒、/ 2022年11月01日 04:25/ 0 赞/ 290 阅读

相关 YARN的工作流程

[YARN的工作流程][YARN] 运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短应用程序是指一定时间内（可能是秒级、分钟级或小时级，

小鱼儿/ 2022年08月08日 13:46/ 0 赞/ 208 阅读

相关 MapReduce On YARN的工作原理

MapReduce On YARN MapReduce计算框架将计算过程分为两个阶段：Map和Reduce 　　Map阶段并行处理输入数据；　　Reduce阶

￡神魔★判官ぃ/ 2022年06月14日 02:54/ 0 赞/ 206 阅读

相关 yarn的基本组成和工作流程

yarn的基本组成和工作流程 yarn是负责资源管理的，协调各个应用程序的资源使用情况一、基本组成 yarn主要由以下几个部分组成 1、resourcemanage

不念不忘少年蓝@/ 2022年01月27日 00:01/ 0 赞/ 275 阅读