Spark集群安装、Spark的web界面 02

我不是女神ヾ 2022-01-26 15:45 664阅读 0赞

# 1. 下载spark安装包 #

下载地址Spark官网：[Spark官网安装包][Spark]，这里我们使用 spark-2.1.3-bin-hadoop2.7版本。  
![在这里插入图片描述][20190529145804663.png]

# 2. 规划安装目录 #

**/export/servers**

# 3. 解压安装包 #

tar -zxvf spark-2.1.3-bin-hadoop2.7.tgz

# 4. 重命名解压后的目录 #

mv spark-2.1.3-bin-hadoop2.7 spark

# 5. 修改配置文件 #

**配置文件目录在 `/export/servers/spark/conf`**

*  `vi spark-env.sh`修改文件([先把spark-env.sh.template重命名为spark-env.sh][spark-env.sh.template_spark-env.sh])

#配置java环境变量
    export JAVA_HOME=/opt/bigdata/jdk1.7.0_67
    #指定spark老大Master的IP
    export SPARK_MASTER_HOST=node1
    #指定spark老大Master的端口
    export SPARK_MASTER_PORT=7077

*  `vi slaves`修改配置文件（先把slaves.template重命名为slaves）

node02
    node03

# 6. 拷贝配置到其他主机 #

**通过scp命令将spark的安装目录拷贝到其他机器上**

scp -r /export/servers/spark node02:/export/servers
    scp -r /export/servers/spark node03:/export/servers

# 7. 配合spark环境变量 #

**将spark添加到环境变量，添加以下内容到/etc/profile**

export SPARK_HOME=/export/servers/spark
    export PATH=$PATH:$SPARK_HOME/bin

# 8. 启动spark #

*  在主节点上启动spark

/export/servers/spark/sbin/start-all.sh

# 9. 停止spark #

*  在主节点上停止spark机器

/export/servers/spark/sbin/stop-all.sh

# 10. spark的web界面 #

正常启动spark集群后，可以通过访问[spark的web界面][spark_web]，查看相关信息。

[Spark]: http://spark.apache.org/downloads.html
[20190529145804663.png]: /images/20220126/ffca6af8ef1849d9b5266f2179715b8f.png
[spark-env.sh.template_spark-env.sh]: http://xn--spark-env-u22ow23m.sh.xn--templatespark-env-rn60an32f84buz10d.sh
[spark_web]: http://node01:8080