Spark 1.3.0集群搭建

r囧r小猫 2022-05-25 05:27 179阅读 0赞

# 安装spark包 #

1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。  
2、解压缩spark包：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。  
3、更改spark目录名：mv spark-1.3.0-bin-hadoop2.4 spark  
4、设置spark环境变量  
vi .bashrc  
export SPARK\_HOME=/usr/local/spark  
export PATH=SPARKHOME/binexportCLASSPATH=.:  S P A R K H O M E / b i n e x p o r t C L A S S P A T H = . : CLASSPATH:JAVAHOME/lib:  J A V A H O M E / l i b : JAVA\_HOME/jre/lib  
source .bashrc

# 修改spark-env.sh文件 #

1、cd /usr/local/spark/conf  
2、cp spark-env.sh.template spark-env.sh  
3、vi spark-env.sh  
export JAVA\_HOME=/usr/java/latest  
export SCALA\_HOME=/usr/local/scala  
export SPARK\_MASTER\_IP=192.168.1.107  
export SPARK\_WORKER\_MEMORY=1g  
export HADOOP\_CONF\_DIR=/usr/local/hadoop/etc/hadoop

# 修改slaves文件 #

spark1
    spark2
    spark3

# 安装spark集群 #

在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。

# 启动spark集群 #

1、在spark目录下的sbin目录  
2、执行./start-all.sh  
3、使用jsp和8080端口可以检查集群是否启动成功  
4、进入spark-shell查看是否正常  
![这里写图片描述][70]  
![这里写图片描述][70 1]

[70]: /images/20220525/e77586d2833b46ad8b4267ccf4a9f416.png
[70 1]: /images/20220525/247c094f8d4a4c78962f740623f3b261.png

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 集群搭建

首先 [搭建spark单机][spark] 然后 [搭建hadoop hdfs][hadoop hdfs] 在单机spark的基础上，修改配置文件 cp /us

ゝ一纸荒年。/ 2023年06月25日 03:26/ 0 赞/ 12 阅读

相关 Docker 搭建Spark集群

文章转自：[https://blog.csdn.net/lizongti/article/details/99674153][https_blog.csdn.net_lizon

绝地灬酷狼/ 2022年12月03日 01:53/ 0 赞/ 283 阅读

相关 Spark完全分布式集群搭建

前面已经给大家讲解过伪分布式spark的安装，和hadoop集群、以及zookeeper集群的搭建，今天就给大家说下Spark完全分布式集群搭建。前提是已经搭建好了had

缺乏、安全感/ 2022年11月25日 14:29/ 0 赞/ 156 阅读

相关 Spark 3.1 Standalone集群搭建

1、下载 [http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

拼搏现实的明天。/ 2022年09月04日 05:54/ 0 赞/ 216 阅读

相关搭建基于mesos的spark集群

1、准备 1)、安装scala（略） 2)、安装mesos，参见 [《mesos 1.1.0集群搭建》][mesos 1.1.0] 2、安装 mkdir /

傷城~/ 2022年07月12日 02:25/ 0 赞/ 282 阅读

相关利用Docker Compose 搭建Spark 集群

简介 Compose 作为Docker官方编排工具，可以让用户通过编写一个简单的模板文件，快速的搭建和管理基于Docker容器的应用集群。其定位是“定义和运行多个Dock

以你之姓@/ 2022年06月04日 05:29/ 0 赞/ 394 阅读

相关 Spark 1.3.0集群搭建

安装spark包 1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。 2、解压缩spark包：tar

r囧r小猫/ 2022年05月25日 05:27/ 0 赞/ 180 阅读

相关 Spark系列(一)集群搭建

前言 Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我们选择最具代表性的Standalone集群部署模式。

谁践踏了优雅/ 2022年05月21日 11:42/ 0 赞/ 227 阅读

相关 Spark集群环境的搭建

一：Hadoop集群环境的搭建 hadoop集群环境的安装请参考我之前的博客：博客地址：[https://blog.csdn.net/qq\_37469055/artic

￡神魔★判官ぃ/ 2022年03月26日 06:10/ 0 赞/ 244 阅读

相关 Spark学习（二）Spark高可用集群搭建

1、下载Spark安装包官网网址：[http://spark.apache.org/downloads.html][http_spark.apache.org_downlo

妖狐艹你老母/ 2022年02月26日 15:37/ 0 赞/ 295 阅读