Spark全分布安装（Standalone模式）

约定不等于承诺〃 2021-11-09 00:32 344阅读 0赞

**已有条件**：已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。  
其中有master，slave1,slave2.  
**安装包**：spark-2.4.3-bin-hadoop2.7.tgz（这里要根据自己的情况定）

一， 下载安装包上传到主节点master上，并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示：  
![scp][]  
二， 分别在三台机器上将它们解压，改名字。并且分别在三个节点上配置环境变量  
![tar][]![mv][]环境变量如下：  
首先进入配置环境变量的下面：cd /etc/profile  
根据自己的spark的安装路径往profile文件里面添加下面的代码：

export SPARK_HOME=/root/bigdata/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

然后：

source /etc/profile

参考图如下：  
![source][]三， 进入master,修改配置文件  
cd bigdata/spark/conf  
然后将spark-env.sh.template和slaves.template进行重命名。如下图所示：  
![mv][mv 1]分别对这两个文件进行配置：  
在slaves文件里面将从节点也就是slave1,slave2加进去。  
![slaves][]在spark-env.sh中加入：export JAVA\_HOME=/root/bigdata/jdk  
export SPARK\_MASTER\_IP=192.168.32.3（注：这个是主节点的IP）  
export HADOOP\_CONF\_DIR=/root/bigdata/hadoop/etc/Hadoop  
如下图所示：  
![env][]然后到spark的sbin [目录下将start-all.sh和stop-all.sh重命名为start-spark-all.sh和stop-all.sh][start-all.sh_stop-all.sh_start-spark-all.sh_stop-all.sh].(这个链接不用管，我实在是去不了，抱歉) 如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjQ4MDYx_size_16_color_FFFFFF_t_70]  
四， 对slave1,slave2做同样的操作。  
*（也可以直接将涉及到是文件传过去覆盖。  
比如说我们第一步的时候不用scp命令将安装包传到slave1,slave2上，到做完前三步了再将spark传过去。）对于直接传过去这种方法，下面有张图可供参考：*  
![scp][scp 1]好，继续对slave1,slave2进行操作这个话题：  
由于我前面没有给slave1,slave2配置环境变量，所以我直接再master上传过去。记得传过去以后分别在slave里面source文件。  
![在这里插入图片描述][2019080620254241.PNG]![在这里插入图片描述][20190806202602574.PNG]（提醒一下，我的master于slave1,slave2已经实现免密登陆了，所以对这3台机器上的操作我就直接在一台机器上进行了。如果您没有免密登陆，也可以输入密码，然后登陆，不影响的）  
五， 当确保环境变量配置好了，spark里面的变量配置好了的时候  
到主节点上启动spark集群前要先启动hadoop集群。  
spark集群启动  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjQ4MDYx_size_16_color_FFFFFF_t_70 1]

![jps][]当主节点也就是我的master上面有master，从节点也就是我的slave上有worker时，搭建成功。  
然后在浏览器中输入主节点的IP：8080(在这儿我的主节点的ip为192.168.32.3)就可以看到spark集群的情况。  
![8080][]  
ok,搭建成功

[scp]: /images/20211108/73378bd5a96b49ff803d16047e2c24ba.png
[tar]: https://img-blog.csdnimg.cn/20190806195534457.PNG
[mv]: /images/20211108/259ff7ae030c4a849623c9a7f47ba83f.png
[source]: /images/20211108/bcc47c7bb0f1460ebabba408a39871ec.png
[mv 1]: /images/20211108/2bc245ed9d35474980088e372bd142da.png
[slaves]: /images/20211108/7882d83b8d5e4ddd842890903090c39d.png
[env]: /images/20211108/09521696912349de9b13bbd44ff4e47b.png
[start-all.sh_stop-all.sh_start-spark-all.sh_stop-all.sh]: http://xn--start-all-zb6nj44jmki153f.xn--shstop-all-ih7q.xn--shstart-spark-all-ln60an32f84buz10d.xn--shstop-all-ih7q.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjQ4MDYx_size_16_color_FFFFFF_t_70]: /images/20211108/b4ddc9a7967f46b895901f6df07e7652.png
[scp 1]: /images/20211108/7ddb97f5ef6f4bb69c1a28aafcc99698.png
[2019080620254241.PNG]: https://img-blog.csdnimg.cn/2019080620254241.PNG
[20190806202602574.PNG]: /images/20211108/1dcdb90637504dcab5aa4343dec7359f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjQ4MDYx_size_16_color_FFFFFF_t_70 1]: /images/20211108/2ac1a5e49ce8419ba825de28979962bf.png
[jps]: /images/20211108/2f95f804e1dc4631a479074f4c11b9a1.png
[8080]: /images/20211108/5580d993a4ba4bbfb7599f8684b15660.png