linux spark分布式集群搭建图文详解

偏执的太偏执、 2022-06-17 11:10 240阅读 0赞

# 一.前期准备    #

## 1.1 Win7官网下载spark包 ##

本文使用版本spark-1.6.2-bin-hadoop2.6.tgz

## 1.2 配置jdk ##

jdk1.7:[linux jdk安装和配置][linux jdk]

scala2.10.6:[linux scala安装和配置][linux scala]

hadoop-2.6.5:[hadoop分布式集群搭建][hadoop]

## 1.3 centos7集群服务器 ##

主机名    系统          IP地址
    master    centos7    192.168.32.128
    slave01   centos7    192.168.32.131
    slave02   centos7     192.168.32.132

# 二.spark完全分布式集群搭建 #

以下操作只针对master主机服务器，其他主机服务器类似。

## 2.1 上传spark包至 /opt/software目录 ##

## 2.2 解压和拷贝spark至 /usr/local/spark ##

cd /opt/software
    tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz
    cp -r spark-1.6.2-bin-hadoop2.6 /usr/local/spark

![1240][]

spark解压和拷贝

spark解压和拷贝完成

# 三.spark完全分布式集群配置 #

## 3.1 系统文件profile配置 ##

配置系统环境变量

vi /etc/profile

![1240 1][]

系统环境配置

退出保存，重启配置

source /etc/profile

## 3.2 文件配置 ##

定位：cd /usr/local/spark/conf

默认：

log4j.properties.template,spark-env.sh.template,slaves.template,spark-defaults.conf.template

复制：

log4j.properties,spark-env.sh,slaves,spark-defaults.conf

![1240 2][]

配置文件生成

## 3.3 修改spark-env.sh文件 ##

vi spark-env.sh
    
    export JAVA_HOME=/usr/local/jdk
    export SCALA_HOME=/usr/local/scala
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
    export SPARK_MASTER_IP=master
    export SPARK_WORKER_MEMORY=1G
    export SPARK_EXECUTOR_MEMORY=1G
    export SPARK_DRIVER_MEMORY=1G
    export SPARK_WORKER_CORES=6

![1240 3][]

spark-env.sh文件

## 3.4 修改spark-defaults.conf文件 ##

vi spark-defaults.conf
    spark.eventLog.enabled          true
    spark.eventLog.dir              hdfs://master:9000/historyserverforSpark
    spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
    spark.yarn.historyServer.address  master:18080
    spark.history.fs.logDirectory      hdfs://master:9000/historyserverforSpark

![1240 4][]

spark-defaults.conf文件

## 3.5 修改slaves文件 ##

vi slaves
    
    master
    slave01
    slave02

![1240 5][]

slaves文件

## 3.6 hadoop新建historyserverforSpark目录 ##

#新建historyserverforSpark目录
    hadoop fs -mkdir /historyserverforSpark
    #查看目录
    hadoop fs -ls /

![1240 6][]

目录新建和查看

## 3.7 slave01和slave02服务器修改 ##

#### 3.7.1 spark文件复制 ####

复制master中spark文件到slave01和slave02服务器的/usr/local目录

scp -r /usr/local/sparkroot@slave01:/usr/local/spark
    scp -r /usr/local/sparkroot@slave012:/usr/local/spark

#### 3.7.2  系统环境profile配置 ####

类似3.1 分别在salve01和slave02配置系统环境

# 四.spark集群测试 #

## 4.1 测试命令 ##

#启动
    start-all.sh start
    #停止
    stop-all.sh start

## 4.2 集群测试 ##

在master服务器运行启动命令

进入/usr/local/spark目录

#### 4.2.1 启动各个节点 ####

sbin/start-all.sh start

![1240 7][]

启动节点

#### 4.2.2 启动start-history-server ####

sbin/start-history-server.sh

![1240 8][]

history启动

#### 4.2.3 查看节点状态 ####

jps查看节点进程

![1240 9][]

master进程

![1240 10][]

slave进程

#### 4.2.4 web端验证是否启动成功 ####

通过web端的18080端口查看是否启动成功

http://192.168.32.128:18080

![1240 11][]

验证启动

#### 4.2.5 通过spark-submit命令运行jar包 ####

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.32.128:7077 lib/spark-examples-1.6.2-hadoop2.6.0.jar 10

![1240 12][]

spark-submit测试

![1240 13][]

spark应用管理

![1240 14][]

history-server

至此，spark完成分布式集群搭建完毕。

[linux jdk]: http://blog.csdn.net/a123demi/article/details/70174954
[linux scala]: http://blog.csdn.net/a123demi/article/details/70214575
[hadoop]: http://blog.csdn.net/a123demi/article/details/70652959
[1240]: /images/20220617/c1e08dd8f3c341a191a3a2e9899ec350.png
[1240 1]: /images/20220617/de22a9ef36884eed827df3fac9eab547.png
[1240 2]: /images/20220617/b291427429cc486eb69e921422809aa9.png
[1240 3]: /images/20220617/549fb23cfdb841ed849daf84ba05b058.png
[1240 4]: /images/20220617/ef6dcb873be9439893de1a3e8ab30e16.png
[1240 5]: /images/20220617/58b7201381a443fd865fe109c3eb40da.png
[1240 6]: /images/20220617/6a9e4bd72bc745bb860e804253f24614.png
[1240 7]: /images/20220617/329869997fa048df9afa541d66818cf3.png
[1240 8]: /images/20220617/fd05523f83624fecbf93003fc0ce86ef.png
[1240 9]: /images/20220617/a499f29f382546e2b8ea36d6deb46d46.png
[1240 10]: /images/20220617/f8c5b24155f04672a3aa51f97aac1092.png
[1240 11]: /images/20220617/caf4ba2f30804304b94749724b806327.png
[1240 12]: /images/20220617/51be48084d1d4a90a287639e4770d650.png
[1240 13]: /images/20220617/31d89c8bdf8d4c8483b7daac5b699d44.png
[1240 14]: /images/20220617/96443dfea010493397d5fc34222b1b1b.png