3.2.3 spark体系之分布式计算-spark-core之离线计算-Spark-Standalone普通模式+HA模式

逃离我推掉我的手 2022-12-28 08:15 173阅读 0赞

**目录**

1.概述

2.普通spark集群安装使用

一、集群规划

二、环境搭建

2.1 下载并解压

2.2 配置环境变量

2.3 修改配置

2.4 分发

三、启动集群

四、查看集群

4.1 jps进程查看

4.2 Web UI查看

五、计算 PI

六、配置任务历史服务器

3.HA-Spark集群搭建

一、集群规划

二、集群配置

2.1 spark-env.sh

2.2 spark-defaults.conf

2.3 slaves

2.4 分发

三、启动集群

3.1 启动ha-hadoop集群

3.2 在hadoop01上启动spark集群

3.3 在hadoop02上启动备Master

3.4 在hadoop01上启动任务历史服务器

四、查看集群

4.1 jps进程查看

4.2 Web UI查看

五、计算 PI (测试高可用)

--------------------

# 1.概述 #

构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。

**standalone运行模式介绍**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.普通spark集群安装使用 #

## 一、集群规划 ##

![图片][af8b85a4128e8b9ae2eac28691ee3c58.png]

## 二、环境搭建 ##

### 2.1 下载并解压 ###

下载 `Spark` 安装包，这里我下载的是`spark-2.4.5-bin-hadoop2.7.tgz`。下载地址：http://spark.apache.org/downloads.html

# 解压
    [xiaokang@hadoop01 ~]$ tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /opt/software/
    # 重命名（可选）
    [xiaokang@hadoop01 ~]$ mv /opt/software/spark-2.4.5-bin-hadoop2.7/ /opt/software/spark-2.4.5

### 2.2 配置环境变量 ###

[xiaokang@hadoop ~]$ sudo vim /etc/profile.d/env.sh

在原来基础上更新配置环境变量：

export SPARK_HOME=/opt/software/spark-2.4.5
    export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${HBASE_HOME}/bin:${KYLIN_HOME}/bin:${FLUME_HOME}/bin:${KAFKA_HOME}/bin:${SCALA_HOME}/bin:${SCALA_HOME}/sbin:${SPARK_HOME}/bin:${SHELL_HOME}/:$PATH

使得配置的环境变量立即生效：

[xiaokang@hadoop ~]$ source /etc/profile.d/env.sh

### 2.3 修改配置 ###

进入 `${SPARK_HOME}/conf` 目录下，复制一份`spark-env.sh.template`文件进行更改

[xiaokang@hadoop01 conf]$ cp spark-env.sh.template spark-env.sh

export JAVA_HOME=/opt/moudle/jdk1.8.0_191
    export SCALA_HOME=/opt/moudle/scala-2.11.12
    SPARK_MASTER_HOST=hadoop01
    # 默认端口就是7077, 可以省略不配
    SPARK_MASTER_PORT=7077

修改 slaves 文件, 添加 worker 节点

[xiaokang@hadoop01 conf]$ cp slaves.template slaves

hadoop01
    hadoop02
    hadoop03

### 2.4 分发 ###

[xiaokang@hadoop01 ~]$ distribution.sh /opt/software/spark-2.4.5

## 三、启动集群 ##

**在hadoop01上启动Spark集群**

# 进入/opt/software/spark-2.4.5/sbin目录并启动集群
    [xiaokang@hadoop01 sbin]$ ./start-all.sh

## 四、查看集群 ##

### 4.1 jps进程查看 ###

[xiaokang@hadoop01 sbin]$ call-cluster.sh jps -l
    --------hadoop01--------
    12150 org.apache.spark.deploy.master.Master
    12236 org.apache.spark.deploy.worker.Worker
    12318 sun.tools.jps.Jps
    --------hadoop02--------
    8266 sun.tools.jps.Jps
    8207 org.apache.spark.deploy.worker.Worker
    --------hadoop03--------
    8147 org.apache.spark.deploy.worker.Worker
    8204 sun.tools.jps.Jps

### 4.2 Web UI查看 ###

![图片][e861960cc4b1638d8bf35a1261ccaf06.png]

## 五、计算 PI ##

[xiaokang@hadoop01 spark-2.4.5]$ bin/spark-submit --master spark://hadoop01:7077 --executor-memory 1G --total-executor-cores 8 --executor-cores 2 --class org.apache.spark.examples.SparkPi /opt/software/spark-2.4.5/examples/jars/spark-examples_2.11-2.4.5.jar 1000

`--executor-memory` 1G 指定每个`executor`可用内存为1G

`--total-executor-cores` 8 指定所有`executor`使用的cpu核数为8个

`--executor-cores` 2 表示每个`executor`使用的 cpu 的核数

计算结果如下：

![图片][6592400aa86a883d8ae72d42e55d9d60.png]

WebUI查看应用执行资源分配情况：

![图片][576f2b781ba933606c568766a53d0ae0.png]

## 六、配置任务历史服务器 ##

在 Spark-shell 没有退出之前， 我们是可以看到正在执行的任务的日志情况：`http://hadoop01:4040`，但是退出 Spark-shell 之后， 执行的所有任务记录全部丢失。所以需要配置任务的历史服务器, 方便在任何需要的时候去查看日志。

单词文件下载：https://github.com/xiaokangxxs/notebook/blob/master/docs/BigData/Spark/wordcount-xiaokang.txt

进入 `${SPARK_HOME}/conf` 目录下，复制一份`spark-defaults.conf.template`文件进行更改

[xiaokang@hadoop01 conf]$ cp spark-defaults.conf.template spark-defaults.conf

spark.master                     spark://hadoop01:7077
    spark.eventLog.enabled           true
    spark.eventLog.dir               hdfs://hadoop01:9000/spark-jobhistory

**注意：** `hdfs://hadoop01:9000/spark-jobhistory` 目录必须提前存在, 名称可自定义

修改`spark-env.sh`文件，添加如下配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop01:9000/spark-jobhistory"

分发配置文件：

[xiaokang@hadoop01 conf]$ distribution.sh spark-defaults.conf
    [xiaokang@hadoop01 conf]$ distribution.sh spark-env.sh

启动任务历史服务器：

[xiaokang@hadoop01 sbin]$ ./start-history-server.sh

**首先启动HDFS**，然后启动Spark集群，最后启动任务历史服务器

[xiaokang@hadoop01 ~]$ ha-hadoop.sh start（启动完查看下哪个NN是active状态）
    [xiaokang@hadoop01 sbin]$ ./start-all.sh
    [xiaokang@hadoop01 sbin]$ ./start-history-server.sh

在HDFS上创建`spark-jobhistory`目录

[xiaokang@hadoop01 ~]$ hdfs dfs -mkdir /spark-jobhistory

**jps进程查看**

[xiaokang@hadoop01 ~]$ call-cluster.sh jps
    --------hadoop01--------
    12753 DFSZKFailoverController
    12945 NodeManager
    13586 HistoryServer
    12325 DataNode
    12006 QuorumPeerMain
    12202 NameNode
    12859 JobHistoryServer
    13691 Jps
    13516 Worker
    12543 JournalNode
    13423 Master
    --------hadoop02--------
    8112 QuorumPeerMain
    8386 JournalNode
    8707 NodeManager
    9379 Jps
    8201 NameNode
    8283 DataNode
    8525 DFSZKFailoverController
    8621 ResourceManager
    9279 Worker
    --------hadoop03--------
    8049 QuorumPeerMain
    8132 DataNode
    8359 ResourceManager
    8824 Jps
    8473 NodeManager
    8235 JournalNode
    8734 Worker

**WebUI查看**

地址: `http://hadoop01:18080`

![图片][119c0adb28b07ac75e3446c5f93633b2.png]

# 3.HA-Spark集群搭建 #

前置准备：

CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7

## 一、集群规划 ##

![图片][7d4459f355658707b64e2c858af1f36e.png]

## 二、集群配置 ##

### 2.1 spark-env.sh ###

[xiaokang@hadoop01 conf]$ cp spark-env.sh.template spark-env.sh
    
    export JAVA_HOME=/opt/moudle/jdk1.8.0_191
    export SCALA_HOME=/opt/moudle/scala-2.11.12
    # 添加上如下内容：
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/ha-spark"
    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=24 -Dspark.history.fs.logDirectory=hdfs://hadoop01:9000/spark-jobhistory"

### 2.2 spark-defaults.conf ###

[xiaokang@hadoop01 conf]$ cp spark-defaults.conf.template spark-defaults.conf
    
    #spark.master                     spark://hadoop01:7077
    spark.master                     spark://hadoop01:7077,hadoop02:7077
    spark.eventLog.enabled           true
    spark.eventLog.dir               hdfs://hadoop01:9000/spark-jobhistory

### 2.3 slaves ###

[xiaokang@hadoop01 conf]$ cp slaves.template slaves
    
    hadoop01
    hadoop02
    hadoop03

### 2.4 分发 ###

[xiaokang@hadoop01 ~]$ distribution.sh /opt/software/spark-2.4.5

## 三、启动集群 ##

### 3.1 启动ha-hadoop集群 ###

[xiaokang@hadoop01 ~]$ ha-hadoop.sh start

### 3.2 在hadoop01上启动spark集群 ###

# 进入/opt/software/spark-2.4.5/sbin目录并启动集群
    [xiaokang@hadoop01 sbin]$ ./start-all.sh

### 3.3 在hadoop02上启动备Master ###

# 进入/opt/software/spark-2.4.5/sbin目录并启动备Master
    [xiaokang@hadoop02 sbin]$ ./start-master.sh

### 3.4 在hadoop01上启动任务历史服务器 ###

# 进入/opt/software/spark-2.4.5/sbin目录并启动任务历史服务器
    [xiaokang@hadoop01 sbin]$ ./start-history-server.sh

## 四、查看集群 ##

### 4.1 jps进程查看 ###

[xiaokang@hadoop01 sbin]$ call-cluster.sh jps
    --------hadoop01--------
    10784 DFSZKFailoverController
    13185 Master
    10226 NameNode
    13380 HistoryServer
    13285 Worker
    10902 JobHistoryServer
    10024 QuorumPeerMain
    10569 JournalNode
    10346 DataNode
    10989 NodeManager
    13470 Jps
    --------hadoop02--------
    7569 JournalNode
    7809 ResourceManager
    7714 DFSZKFailoverController
    7896 NodeManager
    7385 NameNode
    9513 Master
    7290 QuorumPeerMain
    7466 DataNode
    9613 Jps
    9439 Worker
    --------hadoop03--------
    8547 Worker
    7588 ResourceManager
    8613 Jps
    7463 JournalNode
    7703 NodeManager
    7272 QuorumPeerMain
    7357 DataNode

### 4.2 Web UI查看 ###

[xiaokang@hadoop01 sbin]$ cat /opt/software/spark-2.4.5/logs/spark-xiaokang-org.apache.spark.deploy.master.Master-1-hadoop01.out | grep MasterWebUI
    
    20/05/31 08:32:08 INFO MasterWebUI: Bound MasterWebUI to 0.0.0.0, and started at http://hadoop01:8081

通过启动日志可以看到hadoop01的`MasterWebUI`的端口号为8081

![图片][acb0dee03481dc624e88931b646bc82e.png]

[xiaokang@hadoop02 sbin]$ cat /opt/software/spark-2.4.5/logs/spark-xiaokang-org.apache.spark.deploy.master.Master-1-hadoop02.out | grep MasterWebUI
    
    20/05/31 08:32:43 INFO MasterWebUI: Bound MasterWebUI to 0.0.0.0, and started at http://hadoop02:8082

通过启动日志可以看到hadoop02的`MasterWebUI`的端口号为8082

![图片][99fafadbcf722ebfb9263aa24c8cb6d1.png]

hadoop01上的任务历史服务器端口号为18080

![图片][e47af5aa02b25e92e7c97413fac0d29e.png]

## 五、计算 PI (测试高可用) ##

[xiaokang@hadoop01 ~]$ spark-submit --master spark://hadoop01:7077,hadoop02:7077 --executor-memory 1G --total-executor-cores 8 --executor-cores 2 --class org.apache.spark.examples.SparkPi /opt/software/spark-2.4.5/examples/jars/spark-examples_2.11-2.4.5.jar 10000

`--executor-memory` 1G 指定每个`executor`可用内存为1G

`--total-executor-cores` 8 指定所有`executor`使用的cpu核数为8个

`--executor-cores` 2 表示每个`executor`使用的 cpu 的核数

运行过程中将主Master给kill掉，测试是否高可用

[xiaokang@hadoop01 ~]$ kill -9 13185

杀掉主Master之后，程序还是同样在执行，可以看到hadoop02的`MasterWebUI`中状态显示为recovering

![图片][e8c065c6f6c60ffa18c46e33001ca027.png]

最终计算结果如下：

![图片][83cc009dd1befdcc4d85bae4fddaa760.png]

WebUI查看应用执行资源分配情况：

![图片][2297973da9fc30e768bf5448007dcf4a.png]

![图片][6c498224deac134f7965e8045307aee3.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/a807d8b00897487e9f07fec0faefb7e1.png
[af8b85a4128e8b9ae2eac28691ee3c58.png]: /images/20221120/daeb87212ed34ace83b45df3b8520df4.png
[e861960cc4b1638d8bf35a1261ccaf06.png]: /images/20221120/9ce84bc67f434f4abb107a48484e5a21.png
[6592400aa86a883d8ae72d42e55d9d60.png]: /images/20221120/9b9db912598046cc8433534312cc8290.png
[576f2b781ba933606c568766a53d0ae0.png]: /images/20221120/c06c9404b7894266ae1c21e760ed9187.png
[119c0adb28b07ac75e3446c5f93633b2.png]: /images/20221120/2825f335182d4ef1b2a229f8cb42b841.png
[7d4459f355658707b64e2c858af1f36e.png]: /images/20221120/1f0986bf543b4bd69363ea7ed93cd4c5.png
[acb0dee03481dc624e88931b646bc82e.png]: /images/20221120/5316276123d84173a65c7dcfa6f5323d.png
[99fafadbcf722ebfb9263aa24c8cb6d1.png]: /images/20221120/d7d3ec22d9184d69b657ecba4409a947.png
[e47af5aa02b25e92e7c97413fac0d29e.png]: /images/20221120/221b62aa796648dfa9acf26b92ed873b.png
[e8c065c6f6c60ffa18c46e33001ca027.png]: /images/20221120/a8ca53d69efe4a52bf39cf0248546188.png
[83cc009dd1befdcc4d85bae4fddaa760.png]: /images/20221120/61b7555871914b58bbf0dd3820be4ee2.png
[2297973da9fc30e768bf5448007dcf4a.png]: /images/20221120/8d7931151ba64802a6e0427b17c91a4c.png
[6c498224deac134f7965e8045307aee3.png]: https://img-blog.csdnimg.cn/img_convert/6c498224deac134f7965e8045307aee3.png