Spark的Standalone模式之HA集群搭建

忘是亡心i 2022-05-25 03:10 174阅读 0赞

### Spark的Standalone模式之HA集群搭建 ###

#### 前言 ####

本文使用Spark的版本为：`spark-2.3.0-bin-hadoop2.7.tgz`。

spark的集群采用3台机器进行搭建，机器分别是`server01，server02,server03`。

其中：`server01,server02`设置为`Master`，`server01,server02,server03`为`Worker`。

#### 1.下载Spark ####

Spark下载地址：

> [http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

选择对应的版本进行下载就好，我这里下载的版本是：`spark-2.3.0-bin-hadoop2.7.tgz`。

![image][]

#### 2.上传及解压 ####

2.1 下载到本地后，上传到Linux的虚拟机上

> scp spark-2.3.0-bin-hadoop2.7.tgz hadoop@server01:/hadoop

2.2 解压

> tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

2.3 重命名

> mv spark-2.3.0-bin-hadoop2.7 spark

#### 3.配置环境 ####

进入`spark/conf`目录

3.1 复制配置文件

cp slaves.template slaves
    cp spark-env.sh.template spark-env.sh

![image][image 1]

3.2 修改slaves配置文件

spark集群的worker进程配置

server01
    server02
    server03

![image][image 2]

3.3 修改spark-env.sh配置文件

# java环境变量
    export JAVA_HOME=/java/jdk1.8.0_161
    # spark集群master进程主机host
    export SPARK_MASTER_HOST=server01
    # spark集群master的端口号
    export SPARK_MASTER_PORT=7077
    # worker数量
    export SPARK_WORKER_CORES=3
    # worker机器的内存设置
    export SPARK_WORKER_MEMORY=1g
    # 配置zk
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=server01:2181,server02:2181,server03:2181 -Dspark.deploy.zookeeper.dir=/spark"
    # 配置hadoop配置目录
    export HADOOP_CONF_DIR=/hadoop/hadoop-2.7.5/etc/hadoop

![image][image 3]

3.4 下发到server02和server03机器上

> scp -r /hadoop/spark hadoop@server02:/hadoop
> 
> scp -r /hadoop/spark hadoop@server03:/hadoop

3.5 修改server02机器上的`spark-env.sh`的`SPARK_MASTER_HOST`参数信息

# 将主机名改为server02
    export SPARK_MASTER_HOST=server02

![image][image 4]

3.6 配置环境变量

给`server01,server02,server03`机器上配置spark的环境变量

export SPARK_HOME=/hadoop/spark
    export PATH=$PATH:$SPARK_HOME/bin

使配置环境生效

source /etc/profile

#### 4. 启动Spark集群 ####

在server01机器上，进入spark目录

4.1 分别启动master和slaves进程

# 启动master进程
    sbin/start-master.sh
    
    # 启动3个worker进程
    sbin/start-slaves.sh

![image][image 5]

使用jps查看进程

![image][image 6]

4.2 直接使用`start-all.sh`启动

sbin/start-all.sh

![image][image 7]

4.3 手动启动**server02**机器上的master进程

进入spark目录

sbin/start-master.sh

![image][image 8]

*我们可以使用stop-all.sh杀死spark的进程*

sbin/stop-all.sh

#### web页面展示 ####

在浏览器中输入

> server01::8080

![image][image 9]

Status：ALIVE 说明master为主Master

> server02:8080

![image][image 10]

Status:STANDBY 说明这是备用的Master

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[image]: https://raw.githubusercontent.com/zhang3550545/image_center/master/image-2018/spark-1.1.png
[image 1]: https://raw.githubusercontent.com/zhang3550545/image_center/master/image-2018/spark-1.2.png
[image 2]: https://raw.githubusercontent.com/zhang3550545/image_center/master/image-2018/spark-1.3.png
[image 3]: /images/20220525/e57b128adaee4e06966c7e60187de69e.png
[image 4]: /images/20220525/f5f5742d100a4e439b326d8ea801e14f.png
[image 5]: /images/20220525/264ee8b134e24308851b2e36041057f4.png
[image 6]: /images/20220525/469e3521c6974c1b99db64222cb3e128.png
[image 7]: /images/20220525/270a657870314941a107781e472dfd83.png
[image 8]: /images/20220525/bf46be54642e44adbf632555464207d3.png
[image 9]: /images/20220525/be9f9c27549e4c4ea5a3400ff54e8205.png
[image 10]: /images/20220525/28cae4a22c844ccb93c2bcc6a3047fe3.png