YARN 架构

迈不过友情╰ 2021-09-26 06:00 359阅读 0赞

对Hadoop有过了解的都知道，Hadoop经历过很长一段时间的版本号混乱和架构调整，YARN是Hadoop 2.0（或者早期的0.23.x）提出的资源管理、任务调度框架。解决了很多Hadoop 1.0（或者0.21.x、0.22.x）时代的痛点。

随着发展，YARN不仅仅是Hadoop的资源调度框架，还成为一个通用的资源调度管理器，可以将各种各样的计算框架通过YARN管理起来，比如Strom、Spark等。

YARN的基本思想是将资源管理和作业调度/监控的功能分为独立的守护进程。分别是一个全局的 ResourceManager（RM） 和每个应用程序的 ApplicationMaster（AM）。应用程序可以是一个job作业或者一组job作业的有向无环图（DAG）。

ResourceManager负责系统中的所有应用程序的资源分配。NodeManager负责每台机器中容器代理、资源监控（cpu，内存，磁盘，网络），并将这些情况报告给ResourceManager或Scheduler。

每个应用的ApplicationMaster是一个框架特定的库，从ResourceManager协商资源，并与NodeManager共同执行监听任务。

从结构上看，YARN是主/从架构，一个ResourceManager，多个NodeManager，共同构成了数据计算框架。

![YARN架构][YARN]

从上面的结构图来看，YARN主要的组件包括ResourceManager、NodeManager、ApplicationMaster和Container。

# 1. ResourceManager（RM） #

ResourceManager负责整个集群的资源管理和分配，包括处理客户端请求、启动和监控ApplicationMaster、监控NodeManager、资源的分配和调度。

ResourceManager由两个主要组件组成：Scheduler和ApplicationsManager（ASM）。

*  Scheduler：Scheduler根据容量、队列等限制条件（每个队列分配多少资源、最多执行多少个作业等），向运行的应用程序分配资源。Scheduler是一个单纯的调度器，不负责监控功能或跟踪应用程序状态。另外，如果因为应用程序错误或硬件故障任务失败，它不保证重新启动任务。这些都交给ApplicationMaster完成。
    
    资源分配单位用一个抽象概念“容器”（Container）表示，容器是一个动态资源分配单位，将诸如内存、cpu、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量
    
    Scheduler是一个可插拔组件，可以根据自己的需要重新定义。YARN提供了已经实现了多种Scheduler，比如[CapacityScheduler][]和[FairScheduler][]。
 *  ApplicationsManager：ApplicationsManager负责接收提交的作业，与第一个容器协商来执行应用程序对应的ApplicationMaster，并在容器失败时重启ApplicationMaster。每个应用程序对应的ApplicationMaster负责从Scheduler协商资源容器，并跟踪应用程序状态、监控执行进度。

# 2. NodeManager（NM） #

NodeManager是YARN集群中每个节点上资源和任务管理器，负责当前节点程序的运行、资源的管理和监控。

NodeManager定时向ResourceManager发送本节点资源使用情况、容器运行状态等信息。同时，NodeManager需要执行ResourceManager和ApplicationMaster的命令。

# 3. ApplicationMaster（AM） #

YARN运行的每个应用程序都会有一个ApplicationMaster。负责协调来自ResourceManager的资源，并通过NodeManager监控容器和资源使用（包括内存、CPU等）。

# 4. YARN工作流程 #

1.  客户端向ResourceManager提交应用程序，其中包括ApplicationMaster、启动ApplicationMaster的命令、用户程序等；
2.  ResourceManager为该应用程序分配第一个Container，并与对应NodeManager通信，要求它在这个Container中启动应用程序的ApplicationMaster；
3.  ApplicationMaster向ResourceManager注册自己，启动成功后与ResourceManager保持心跳；
4.  ApplicationMaster向ResourceManager申请资源；
5.  申请资源成功后，由ApplicationMaster进行初始化，然后与NodeManager通信，要求NodeManager启动Container。然后ApplicationMaster与NodeManager保持心跳，从而对NodeManager上运行的任务进行监控和管理；
6.  Container运行期间，向ApplicationMaster汇报自己的进度和状态信息，以便ApplicationMaster掌握任务运行状态，从而在任务失败是可以重新启动；
7.  应用运行结束后，ApplicationMaster向ResourceManager注销自己，允许其所属的Container回收。

--------------------

参考  
1. [Apache Hadoop YARN][]  
2. [INTRODUCING APACHE HADOOP YAR][]

--------------------

个人主页: [http://www.howardliu.cn][http_www.howardliu.cn]

个人博文: [YARN架构][YARN 1]

CSDN主页: [http://blog.csdn.net/liuxinghao][http_blog.csdn.net_liuxinghao]

CSDN博文: [YARN架构][YARN 2]

[YARN]: /images/20210923/bd111bff06c9461c9b99e371589b6473.png
[CapacityScheduler]: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
[FairScheduler]: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
[Apache Hadoop YARN]: http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[INTRODUCING APACHE HADOOP YAR]: https://hortonworks.com/blog/introducing-apache-hadoop-yarn/
[http_www.howardliu.cn]: http://www.howardliu.cn
[YARN 1]: http://www.howardliu.cn/hadoop/yarn-architecture
[http_blog.csdn.net_liuxinghao]: http://blog.csdn.net/liuxinghao
[YARN 2]: http://blog.csdn.net/liuxinghao/article/details/74939382