初识Yarn

曾经终败给现在 2021-09-27 15:02 199阅读 0赞

### 初识Yarn ###

*  hadoop1.x版本
 *   *  工作流程
     *   *  工作流程图
         *  组件介绍
         *  流程详解
         *  1.x版本的缺点
 *  Hadoop2.x版本
 *   *  工作流程
     *   *  工作流程图
         *  主要组件介绍
         *  详细流程介绍

# hadoop1.x版本 #

这个时候并没有yarn这个概念，只有MapReduce的概念，是mapreduce的计算框架reduce中的原理部分。

## 工作流程 ##

### 工作流程图 ###

![第一代MapReduce][MapReduce]

### 组件介绍 ###

*  Job Tracker：
    
    1.  资源调度主节点
    2.  任务调度主节点
 *  Task Tracker：从节点 其中还有DataNode
 *  client：客户端

### 流程详解 ###

*  client把Application导出为一个jar包，并把jar包通过指令发送给JobTracker；
 *  但在这之前JobTracker会向NameNode去获取需要计算的文件的位置信息（一个block默认对应三个位置）；
 *  JobTracker会向有数据的TaskTracker发送消息:“分配点资源，我要去发任务运行”；
 *  然后在对应的节点上，规划一个container也就是容器(容器中包含了所需要的cpu、内存等资源)；
 *  接着，JobTracker往各个容器中分发Map Task；
 *  Map Task会产生大量磁盘文件；
 *  Job Tracker会通知TaskTracker启动一个容器，在容器中执行Reduce Task；
 *  Reduce Task从Map Task拉来各个数据，经过计算返回给客户端

对于Map Task和Reduce Task是什么可以参考[初识MapReduce][MapReduce 1] .

### 1.x版本的缺点 ###

*  JobTracker负责资源 和 任务调度的主节点，一旦挂掉，整个集群处于瘫痪状态
 *  JobTracker负载过高
 *  与MapReduce耦合度太高，假设Spark也要运行在这套集群上，需要自己去实现资源调度；那么这个集群就存在了两套资源调度器，这也就产生了资源隔离性问题和资源抢夺的问题。

于是为了解决这些种种问题，开发者们开发了Yarn来解决这个问题，也就是下面要说的Hadoop2.x

# Hadoop2.x版本 #

## 工作流程 ##

### 工作流程图 ###

![Yarn工作流程][Yarn]

### 主要组件介绍 ###

*  ResourceManager：资源管理的主节点，用于资源的调度
 *  NodeManager：资源管理的从节点(与DataNode在同一节点上)，NM发送心跳给RM
 *  ApplicationMaster：负责任务调度
 *  client：客户端

### 详细流程介绍 ###

*  client把MapReduce Application打包成jar包，使用`hadoop jar`指令上传到yarn集群去运行。
 *  拿到App计算的文件的路径，去找NameNode，获取每一个Block块的位置，(假设HDFS只有两个block组成)生成一个列表(这里为假设)  
    block1 node01 02 03，map task最好在这三个节点上启动(为了减少网络IO)，如果这三个节点都满了，就找同机架的服务器；如果还不行，就随机找一个。  
    block2 node02 03 08
 *  生成完列表后，向ResourceManager发送一个请求，为ApplicationMaster申请资源，请求启动一个ApplicationMaster(任务调度器)
 *  RM接受客户端的申请，然后查看对应的节点上资源充不充足(不充足不启动)，随机在NodeManager中规划出一个container容器(里面包含CPU、内存等资源)
 *  NodeManager会在容器中启动一个ApplicationMaster负责任务调度
 *  客户端将报表交给ApplicationMaster
 *  ApplicationMaster拿到报表后，根据报表去找RM申请资源，假设02 03资源充足，在那俩节点上启动一个container，NodeManager在容器中启动起来一个进程yarn-child
 *  ApplicationMaster分发map task(线程)到yarn-child进程
 *  产生磁盘文件
 *  交给reduce task(最好也在02 03 节点)
 *  计算完之后，在写到HDFS中

[MapReduce]: /images/20210923/2f073a78b4d247e98e63e851cdfb30f1.png
[MapReduce 1]: https://blog.csdn.net/qq_37162090/article/details/83074622
[Yarn]: /images/20210923/f500816ee19244f0ba60a7979a5614af.png