10.4 spark集群搭建-standalone模式

系统管理员 2022-05-19 07:50 207阅读 0赞

Spark standalone集群搭建：

1、上传解压 tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz

2、修改安装包的名称（最好保留版本号）mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

3、进入conf目录，修改slaves和Spark-env.sh

slaves（Worker进程所在的节点）：

node2

node3

node4

spark-env.sh

export SPARK\_MASTER\_IP=hadoop1 Matser的IP

export SPARK\_MASTER\_PORT=7077 提交任务的端口

export SPARK\_WORKER\_CORES=2 每个Worker进程管理2个core

export SPARK\_WORKER\_MEMORY=2G 每个Worker进程管理2G内存

export SPARK\_WORKER\_INSTANCES=1 在每个虚拟机或者真实的物理机上启动的Worker的数量 defult 1

4、将安装包同步到其他的节点上 scp -r spark-1.6.0 root@node2:/opt/local/

5、如果想要修改master的监控端口 在start-master.sh 脚本里面修改 不修改默认8080

6,启动sbin目录下./start-all.sh

web端访问：[http://node1:8080/][http_node1_8080]

测试：bin目录下

./spark-submit --master spark://node1:7077 --deploy-mode cluster --

total-executor-cores 3 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

./spark-submit --master spark://node1:7077 --deploy-mode cluster 提交模式(defult:client,cluster)

\--total-executor-cores 3(小于集群core的总数) 集群为当前的application奉献了3个core

\--class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000(并发度 使用1000个线程来计算)

--------------------

Spark standalone模式

Master：资源管理的主节点，掌握集群的资源情况

实际上就是一个进程

Worker：只是管理某一台机器 或者 管理某一部分资源 2G内存和2个core

也是一个进程，Worker会管理他所在机器的资源

Driver：与任务调度有关

Spark 在Standalone上运行分为两种模式

node1 master 也是提交应用程序的客户端

node2 worker

node3 worker

node4 worker

1、client 测试程序

Driver进程是在客户端启动的

Driver（SparkContext对象）的作用：

分发任务

回收task的计算结果

回收task的执行情况

心跳

可以在提交应用程序的客户端上监控task的执行情况

适应场景：

测试 生产环境下为什么不使用client模式？

如果我要提交100个application到集群运行，Driver每次都会在client节点启动，那么就会操作客户端100次网卡流量暴增的问题

2、cluster 适合在生产环境

Driver进程是在集群某一台Worker上启动的

是无法查看task的执行情况的

如果我要提交100个application到集群运行，每次Driver会随机在某一台Worker上启动，那么这100次网卡流量暴增的问题就散布在集群上的

[http_node1_8080]: http://node1:8080/

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 Docker 搭建Spark集群

文章转自：[https://blog.csdn.net/lizongti/article/details/99674153][https_blog.csdn.net_lizon

绝地灬酷狼/ 2022年12月03日 01:53/ 0 赞/ 240 阅读

相关配置Spark standalone集群启动

前言 > 想在本地提交spark程序，在网上找了一些文章。在本地提交的前提就是，spark以集群的方式启动。于是想以简单的standalone方式启动，但在启动的时候遇到

「爱情、让人受尽委屈。」/ 2022年09月28日 13:13/ 0 赞/ 175 阅读

相关 Spark 3.1 Standalone集群搭建

1、下载 [http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

拼搏现实的明天。/ 2022年09月04日 05:54/ 0 赞/ 185 阅读

相关 Spark -5：Standalone 集群模式

翻译：http://spark.apache.org/docs/latest/spark-standalone.html\standby-masters-w

痛定思痛。/ 2022年07月15日 06:54/ 0 赞/ 153 阅读

相关 Spark的Standalone模式之HA集群搭建

Spark的Standalone模式之HA集群搭建前言本文使用Spark的版本为：`spark-2.3.0-bin-hadoop2.7.tgz`。 spark

忘是亡心i/ 2022年05月25日 03:10/ 0 赞/ 174 阅读

相关 Spark系列(一)集群搭建

前言 Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我们选择最具代表性的Standalone集群部署模式。

谁践踏了优雅/ 2022年05月21日 11:42/ 0 赞/ 192 阅读

相关 10.4 spark集群搭建-standalone模式

Spark standalone集群搭建： 1、上传解压 tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz 2、修改安装包的名称（最好保留版本

系统管理员/ 2022年05月19日 07:50/ 0 赞/ 208 阅读

相关 Spark集群环境的搭建

一：Hadoop集群环境的搭建 hadoop集群环境的安装请参考我之前的博客：博客地址：[https://blog.csdn.net/qq\_37469055/artic

￡神魔★判官ぃ/ 2022年03月26日 06:10/ 0 赞/ 205 阅读

相关 Spark 安装 Standalone模式 (单机与集群)

前言今天我们了解下`Spark`的安装. Spark的安装模式有很多模式, 主要包括 [Spark Standalone][]、[Running Spark on

浅浅的花香味﹌/ 2022年02月26日 11:26/ 0 赞/ 550 阅读

相关 spark2.0搭建standalone集群模式

最近因为工作，需要在已有的集群中添加spark2.0并且能够运行集群任务，原先的集群环境是基于cloudera manager搭建的，spark的版本是1.6，综

比眉伴天荒/ 2021年09月15日 08:36/ 0 赞/ 307 阅读