10.5 spark on yarn

╰半夏微凉° 2022-05-19 09:45 391阅读 0赞

将spark的application运行在yarn上

Application：一个应用程序，WordCount

job：是与action类的算子一一对应的

stage：一组并行计算的task(pipeline)

task:一个任务单元，Thread

Master：资源管理的主节点

Worker：资源管理的从节点

Executor：真正计算的进程

ThreadPool(Executor中)：线程池里面计算每一个task(Thread)

--------------------

yarn:

ResourceManager(进程) 资源管理主节点 -RS

NodeManager(进程) 资源管理从节点 -NM

ApplicationMaster(进程) -AM

哪个计算框架想要在yarn上执行，必须实现ApplicationMaster接口

为当前的application申请资源

给NM发送消息，启动Container Executor

spark on yarn执行流程：

Yarn-Client模式：

1，在客户端通过Spark-submit提交一个application

2，在客户端上启动一个Driver进程

3，Driver启动完成后，client会向RS发送请求(给我找一台NM，我要启动AM)

4，RS接受了请求，找到某台NM，RS会向NM进程发送一条消息(给我启动一台Container容器，我要启动AM进程)

5，AM已经启动了，AM会向RS发送请求(给我一批资源，我要运行application)

6，RS接受了请求，给他找到一批NM返回给AM

7，AM会向这一批NM发送消息(给我启动一个Container，我要启动Executor)

8、Executor会反向注册给客户端里启动的Driver进程

9、Driver就有了一批计算进程(Executor)

10、Driver就可以发送task到Executor里面去执行了。

Yarn-client用于测试，因为Driver端运行在本地，程序在集群中运行的Log可以在本地查看到，方便进行测试

缺点是：

因为Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加，可能会被公司的SA运维人员警告。

Yarn-cluster模式：

1，在客户端通过Spark-submit提交一个application

2，会向RM发送请求，(给我找一台NM，我要启动AM)，RM接收之后在某个NM上分配container,启动AM(相当于Driver)

3，这是候AM就会发送请求到RM，请求一批container，用于启动Executor

4，请求到一批container之后，AM就会连接NM来启动Executor(这里的NM就相当于spark standlone模式下的worker节点)

5，Executor启动之后就会反向注册到Driver(AM)

Yarn-cluster主要用于生产环境中，因为Driver运行在Yarn集群中某一台nodeManager中，每次提交任务的Driver所在的机器都是随机的，不能产生某一台机器网卡流量激增的现象

缺点是：

调试不方便，本地用Spark-Submit提交后看不到log，只能通过yarn application-logs applicationId这种命令来查看log，很是不方便。

client模式 和 cluster模式对比：

1、client模式Driver在客户端启动 测试

2、cluster模式Driver是在Yarn集群中某一台NM中启动 生产环境

3、ApplicationMaster在不同的模式下作用不一样：

ApplicationMaster 在Client模式下:

（1）为当前的Application申请资源

（2）给NM发送消息，NM启动Container(一组计算资源的单位)Executor

ApplicationMaster 在Cluster模式下:

（1）为当前的Application申请资源

（2）给NM发送消息，NM启动Container(一组计算资源的单位)Executor

（3）任务调度

--------------------

spark on yarn 配置：

注意事项：

（1）yarn集群所在的节点必须有Spark的安装包

（2）Spark跑在Yarn集群上，不需要启动Spark standalone集群，不需要master worker这一些几点

master-> RS

Worker->NM

配置：(在standalone模式配置的基础上)

1、在Spark-env.sh下面添加一行 注意hadoop环境变量需要配置 --注意其他集群同步

export HADOOP\_CONF\_DIR=$HADOOP\_HOME/etc/hadoop

export SPARK\_DAEMON\_JAVA\_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node2:4180,node3:4180,node4:4180 -Dspark.deploy.zookeeper.dir=/spark0415"

2、启动yarn集群 因为在Yarn集群运行application需要依赖HDFS

所以只 启动HDFS集群 start-all.sh 注意：不需要启动spark集群

3、提交任务到yarn集群中运行

client 模式

./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

cluster 模式

./spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

发表评论取消回复

表情：

评论列表（有 0 条评论，391人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark on yarn

Spark-on-YARN 1. 官方文档 [http://spark.apache.org/docs/latest/running-on-yarn.html][h

淩亂°似流年/ 2023年08月17日 15:55/ 0 赞/ 55 阅读

相关 Spark on Yarn-cluster与Yarn-client

转载URL： http://www.cnblogs.com/MOBIN/p/5857314.html Spark on Yarn-cluster与Yarn-client

野性酷女/ 2022年07月12日 02:52/ 0 赞/ 150 阅读

相关 Spark -6：运行Spark on YARN

翻译：http://spark.apache.org/docs/latest/running-on-yarn.html 支持在YARN上运行（Hadoop Next

Love The Way You Lie/ 2022年07月11日 07:29/ 0 赞/ 174 阅读

相关 Spark On YARN内存分配

Spark On YARN内存分配时间 2015-06-09 00:00:00 [JavaChen's Blog][JavaChen_s Blog] 原文 [

「爱情、让人受尽委屈。」/ 2022年07月05日 15:09/ 0 赞/ 279 阅读

相关 Spark On YARN内存分配

[Spark On YARN内存分配][Spark On YARN] 原文地址： http://blog.javachen.com/2015/06/09/memory-in-

梦里梦外;/ 2022年06月18日 00:36/ 0 赞/ 163 阅读

相关 Spark ON Yarn

![Center][] ![Center 1][] ![Center 2][] [Center]: /images/20220615/16e07676c89

超、凢脫俗/ 2022年06月15日 07:14/ 0 赞/ 125 阅读

相关 Spark On YARN内存分配

说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： `yarn-client`模式、`yarn-cluster`模式。当

谁借莪１个温暖的怀抱￠/ 2022年06月05日 01:37/ 0 赞/ 148 阅读

相关 spark on yarn 配置

系统：centos7 软件： 1. hadoop-2.7.2.tar.gz，请勿选择src版本，否则需要自行编译 2. jdk-7u79-linux-x64.t

╰+攻爆jí腚メ/ 2022年06月03日 09:44/ 0 赞/ 167 阅读

相关 Spark on Yarn架构原理

一. 前言 SPARK相关概念 1. Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。 2. ClusterManage

怼烎@/ 2022年04月04日 05:37/ 0 赞/ 219 阅读

相关 spark on yarn

Spark on yarn的两种运行模式和运行原理一回顾—spark和mapreduce区别在MapReduce中，计算的最上层单元是是job，系统加载数据，执行一

- 日理万妓/ 2022年03月29日 13:43/ 0 赞/ 163 阅读