一张图让你轻松搞定yarn资源调度流程

Love The Way You Lie 2022-06-04 03:16 173阅读 0赞

**1。yarn概述**

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序

**  2.**Yarn的重要概念

1）yarn并不清楚用户提交的程序的运行机制

2）yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）

3） **yarn中的主管角色叫ResourceManager**

4） **yarn中具体提供运算资源的角色叫NodeManage**r

5）这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序……

6）所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可

7）Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享

** 3.yarn资源调度全流程（核心** **，图片看不清的话，可以下载本地查看** **）**

![20171203085154016][]

**工作机制详解**

（ 0 ） Mr 程序提交到客户端所在的节点（ MapReduce ）

（ 1 ） yarnrunner 向 Resourcemanager 申请一个 application 。

（ 2 ） rm 将该应用程序的资源路径返回给 yarnrunner

（ 3 ）该程序将运行所需资源提交到 HDFS 上

（ 4 ）程序资源提交完毕后，申请运行 mrAppMaster

（ 5 ） RM 将用户的请求初始化成一个 task

（ 6 ）其中一个 NodeManager 领取到 task 任务。

（ 7 ）该 NodeManager 创建容器 Container ，并产生 MRAppmaster

（ 8 ） Container 从 HDFS 上拷贝资源到本地

（ 9 ） MRAppmaster 向 RM 申请运行 maptask 容器

（ 10 ） RM 将运行 maptask 任务分配给另外两个 NodeManager ，另两个 NodeManager 分别领取任务并创建容器。

（ 11 ） MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager 分别启动 maptask ， maptask 对数据分区排序。

（ 12 ） MRAppmaster 向 RM 申请 2 个容器，运行 reduce task 。

（ 13 ） reduce task 向 maptask 获取相应分区的数据。

（ 14 ）程序运行完毕后， MR 会向 RM 注销自己。

**二：mr的运行模式**

**    **

MAPREDUCE程序运行模式

2.2.1 本地运行模式

\- **mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行（yarn的本地模拟器）**

\- **而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上**

**    config.set("fs.defaultFS","hdfs://hadoop102:8020")  //这是集群，也可以不用配置，因为配置文件里指定了该配置 **

**    config.set( mapreduce.framework.name=local** **);//本地,本地里可以不用配置，默认配置lib文件里就是local.**

\- 怎样实现本地运行？写一个程序，不要带集群的配置文件（ **本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数** ）

\- 本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

**如果在windows下想运行本地模式来测试程序逻辑，需要在windows中配置环境变量：**

**％HADOOP\_HOME％  =  d:/hadoop-2.6.1**

**%PATH% =  ％HADOOP\_HOME％\\bin**

**并且要将d:/hadoop-2.6.1的lib和bin目录替换成windows平台编译的版本（要安装hadoop的windows版本）**

2.2.2 集群运行模式

\- 将mapreduce程序提交给yarn集群resourcemanager，分发到很多的节点上并发执行

\- 处理的数据和输出结果应该位于hdfs文件系统

\- 提交集群的实现步骤：

A、将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动

$ hadoop jar wordcount.jar cn.itcast.bigdata.mrsimple.WordCountDriver inputpath outputpath

B、直接在linux的eclipse中运行main方法

**（项目中要带参数：mapreduce.framework.name=yarn以及yarn的两个基本配置，一般集群上yarn-site.xml都已配置了。如果不是本地连接的话，不需要配置）**

**         config.set("fs.defaultFS","hdfs://hadoop102:8020")**

**         config.set(mapreduce.framework.name","yarn")**

**         config.set("yarn.resourcemanager.hostname","hadoop103");**

**         方法二：也可以将core\_site.xml等配置文件直接复制到工程下，也行。**

C、如果要在windows的eclipse中提交job给集群，则要修改YarnRunner类

总结：所谓的hadoop jar ,yarn jar  ,java -jar 本质都是启动jar包中main方法。

[20171203085154016]: /images/20220604/07e5ea4156ff4d65aafe5c20a8533013.png

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关一文教你如何在ThinkPHP6中轻松搞定审核流程管理！

通过以上代码示例，我们可以看到ThinkPHP6中非常便捷的实现了审核流程管理功能，通过流程表和步骤表的记录管理，以及模型类的方法操作，我们可以快速、简单地完成一个完整的...

墨蓝/ 2024年04月29日 11:35/ 0 赞/ 29 阅读

相关 17张图轻松搞定分布式一致性协议

两阶段提交 Two-phase Commit（2PC）：保证一个事务跨越多个节点时保持 ACID 特性；两类节点：协调者（Coordinator）和参与者（Part

梦里梦外;/ 2022年12月25日 14:55/ 0 赞/ 129 阅读

相关几张图轻松搞定top命令

文章目录第一行参数第二行参数第三行参数第四行参数

迈不过友情╰/ 2022年10月23日 12:45/ 0 赞/ 171 阅读

相关 2021前端开发学习路径，一张图让你轻松自学

想自学前端？却不知道学习路径。报个班吧，又怕被坑。这期视频和文章一定可以帮助到你。在2017年以前，想给出一张学习前端路径是非常困难的，因为那时候前端技术疯狂涌现，争斗不断

秒速五厘米/ 2022年10月04日 13:58/ 0 赞/ 142 阅读

相关一张图让你轻松搞定yarn资源调度流程

1。yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于

Love The Way You Lie/ 2022年06月04日 03:16/ 0 赞/ 174 阅读

相关 36分钟轻松搞定hadoop系统流程

目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信

不念不忘少年蓝@/ 2022年06月02日 03:50/ 0 赞/ 189 阅读

相关 yarn: 资源调度机制

1. 参考书籍《深入理解mapreduce架构设计与实现原理》 2. yarn：各组件的通信协议 3. 理解yarn工作流程： yarn–>appMaster–>管理j

缺乏、安全感/ 2022年05月06日 16:57/ 0 赞/ 210 阅读

相关 Runtime- 结合Demo, 让你轻松搞定

![Image 1][] Runtime.jpeg > 关于`Runtime`的学习资料网上有很多了，但是大部分看起来有些晦涩难懂，看过一遍后让人感觉有些走马观花, 还是理

爱被打了一巴掌/ 2022年03月31日 11:22/ 0 赞/ 168 阅读

相关一张图搞定OAuth2.0

原文:[https://www.cnblogs.com/flashsun/p/7424071.html][https_www.cnblogs.com_flashsun_p_74

傷城~/ 2022年03月26日 08:38/ 0 赞/ 157 阅读

相关 Yarn资源调度 12

1. yarn调度流程 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly

柔情只为你懂/ 2022年03月01日 05:56/ 0 赞/ 218 阅读