spark阿里云集群搭建

川长思鸟来 2024-04-17 05:52 18阅读 0赞

因为现阶段使用到了spark，所以就想搭建spark集群平台在阿里云上，网上找了很多资料，发现每一个人写的都不太一样，试过几次发现搭建不成功，于是自己慢慢琢磨，总结他们的经验，最后自己成功搭建，写下此篇博客，防止以后再次需要搭建时遇到问题，以下为搭建步骤。

hadoop、scala集群安装成功

下载安装

官网下载地址：[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

下载与hadoop对应版本的安装包，我的hadoop是2.7.6的所以下载  [spark-2.4.3-bin-hadoop2.7.tgz][]

下载好后解压

tar -zxvf [spark-2.4.3-bin-hadoop2.7.tgz][]

重命名

mv [spark-2.4.3-bin-hadoop2.7][spark-2.4.3-bin-hadoop2.7.tgz]  spark

配置环境变量

vi /etc/profile

**export SPARK\_HOME=/usr/spark  
export PATH=$PATH:$SPARK\_HOME/bin**

使环境变量生效

source /etc/profile

进入到spark的conf文件下

cd spark/conf

**mv spark-env.template spark-env.sh**

**mv log4j.properties.template log4j.properties**

**mv slaves.template slaves**

修改spark-env.sh文件

vi spark-env.sh

加入以下配置

**export SCALA\_HOME=/usr/scala  
export JAVA\_HOME=/usr/jdk1.8.0\_65  
export HADOOP\_CONF\_DIR=/usr/hadoop/etc/hadoop**

修改slaves文件

vi slaves

将localhost改为hadoop集群主机节点名

**master**

**server1**

**server2**

在集群其它节点上做同样操作或复制过去

**scp -r spark/ server1:/usr/**

**scp -r spark/ server2:/usr/**

应为与hadoop启动进程是同样命令，所以进到sbin文件下启动

cd spark/sbin

start-all.sh

jps查看master上是否有 Master和Worker

![20190824160807787.png][]

从节点上是否有Worker

![201908241610142.png][]

![20190824161130270.png][]

阿里云开放端口8081、7077

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTg0MTQ2_size_16_color_FFFFFF_t_70][]

阿里云spark集群搭建成功

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[spark-2.4.3-bin-hadoop2.7.tgz]: https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
[20190824160807787.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/8388a6698b814d6389b8dbdb19c3f0f8.png
[201908241610142.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/b5eb6c6484a24f74a2ff230c6f40d3cc.png
[20190824161130270.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/a9a6f1011dfa4d6386e3d3ff849dc931.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTg0MTQ2_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/d09fda321f974af182132fadd5ccba2c.png