Yarn基础结构及工作机制

系统管理员 2022-09-03 04:17 11阅读 0赞

## 1、Yarn基础结构 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center][]

## 2、Yarn工作机制 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70_pic_center]

（1）MR 程序提交到客户端所在的节点。  
（2）YarnRunner 向 ResourceManager 申请一个 Application。  
（3）RM 将该应用程序的资源路径返回给 YarnRunner。  
（4）该程序将运行所需资源提交到 HDFS 上。  
（5）程序资源提交完毕后，申请运行 mrAppMaster。  
（6）RM 将用户的请求初始化成一个 Task。  
（7）其中一个 NodeManager 领取到 Task 任务。  
（8）该 NodeManager 创建容器 Container，并产生 MRAppmaster。  
（9）Container 从 HDFS 上拷贝资源到本地。  
（10）MRAppmaster 向 RM 申请运行 MapTask 资源。  
（11）RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两个 NodeManager 分别领取任务并创建容器。  
（12）MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个 NodeManager分别启动 MapTask，MapTask 对数据分区排序。  
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。  
（14）ReduceTask 向 MapTask 获取相应分区的数据。  
（15）程序运行完毕后，MR 会向 RM 申请注销自己。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220829/c4da397358db4f4bb2cec38232586a91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3U0NDExNzgx_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/8c36ba940c9249449a0ebe8b5bae21a2.png