Hadoop-Yarn-工作机制、job的提交流程

客官°小女子只卖身不卖艺 2023-03-02 10:41 25阅读 0赞

# Hadoop-Yarn-工作机制、job的提交流程 #

### 文章目录 ###

*  Hadoop-Yarn-工作机制、job的提交流程
 *   *  Yarn基本概述
     *  Yarn基本架构
     *  Yarn工作机制

## Yarn基本概述 ##

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

## Yarn基本架构 ##

YARN主要由ResourceManager、NodeManager（两个常驻进程）、ApplicationMaster和Container（临时进程，有job才会启动）等组件构成。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]

## Yarn工作机制 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]

job提交全过程

（1）job提交

第1步：Client 调用`job.waitForCompletion()`方法，向整个集群提交`MapReducejob`。

第2步：Client 向ResourceManager申请一个`jobId`。

第3步：ResourceManager给Client 返回该job资源的提交路径（临时目录 + jobId生成的路径）。

第4步：Client 提交jar包、切片信息和配置文件到指定的资源提交路径。

第5步：Client 提交完资源后，向ResourceManager申请运行`MrAppMaster`。

（2）作业初始化

第6步：当ResourceManager收到Client 的请求后，先将该**job**添加到容量调度器（队列）中。

第7步：通知一个空闲的NodeManager领取到该**Job**。

第8步：该NodeManager创建Container，并产生一个MrAppmaster。

第9步：然后下载Client 提交的资源到本地。

（3）任务分配

第10步：MrAppMaster向ResourceManager申请运行多个**MapTask**任务资源。

第11步：ResourceManager将运行**MapTask**任务分配给另外两个NodeManager，然后分别领取任务并创建容器。

（4）任务运行（此阶段为MapTask、shuffle、ReduceTask数据处理阶段）

第12步：MrAppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动**MapTask**，然后**MapTask**对数据分区排序等操作。

第13步：MrAppMaster等待所有**MapTask**运行完毕后，向ResourceManager申请容器，运行**ReduceTask**。

第14步：**ReduceTask**拷贝**MapTask**相应分区的数据，然后就行操作。

第15步：程序运行完毕后，MrAppMaster会向ResourceManager申请注销自己。

（5）进度和状态更新

YARN 中的任务，将其进度和状态（包括Container）返回给MrAppMaster, Client 每秒(通过`mapreduce.client.progressmonitor.pollinterval`设置)向MrAppMaster请求进度更新, 展示给用户。

（6）job完成

除了向MrAppMaster请求**job**进度外, Client 每5秒都会通过调用`waitForCompletion()`来检查**job**是否完成。时间间隔可以通过`mapreduce.client.completion.pollinterval`来设置。**job**完成之后, MrAppMaster和Container会清理工作状态。**job**的信息会被历史服务器存储，以备之后用户核查。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20230208/708914588aef4cdfb786b31e26479e2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]: /images/20230208/81314a4f214a447ba4c9bd03360708d0.png