Spark2.0.2+Scala2.11.8环境搭建

骑猪看日落 2022-04-10 02:59 198阅读 0赞

**此处更正Spark版本和Scala版本的关系：  
如官网所述。。。下面写的时候有误【虽然也能用，不过还是按照官网来吧】**  
![在这里插入图片描述][20190108195223672.png]

--------------------

### 1. 下载Spark ###

[点击去官网][Link 1]  
然后选择下载版本  
红框根据自己需要选择，这里选2.0.2  
**注意蓝框部分需要和你安装的Hadoop版本一致，因为我的机器是2.7.5所以这里选Hadoop2.7**  
![在这里插入图片描述][20181224122332245.png]

### 2. 上传spark到虚拟机，解压 ###

### 3. 设置环境变量 ###

编辑

vim ~/.bashrc

输入，SPARK\_HOME 换成你的路径

export SPARK_HOME=/usr/local/src/spark-2.0.2
    export PATH=$PATH:$SPARK_HOME/bin

生效

source ~/.bashrc

### 4. 配置spark-env ###

进入目录

cd /usr/local/src/spark-2.0.2/conf

拷贝一份模板文件

cp spark-env.sh.template spark-env.sh

编辑 [spark-env.sh][]，JAVA\_HOME、SCALA\_HOME、HADOOP\_HOME换成你的虚拟机中对应的目录【稍后安装Scala】

export JAVA_HOME=/usr/local/src/jdk1.8.0_191
    export SCALA_HOME=/usr/local/src/scala-2.10.7
    export HADOOP_HOME=/usr/local/src/hadoop-2.7.7
    
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_MASTER_IP=master
    export SPARK_WORKER_MEMORY=1g

### 5. 配置slaves ###

依旧再 /usr/local/src/spark-2.0.2/conf 这个目录下  
拷贝一份模板文件

cp slaves.template slaves

编辑slaves

slave1
    slave2

### 6. 节点分发 ###

scp -r /usr/local/src/spark-2.0.2/ slave1:/usr/local/src
    scp -r /usr/local/src/spark-2.0.2/ slave2:/usr/local/src

### 7. 下载Scala ###

这里用2.10.7【因为Spark按照的**2.x**所以Scala版本更正为**2.11.x+**】  
[https://downloads.lightbend.com/scala/2.10.7/scala-2.10.7.tgz][https_downloads.lightbend.com_scala_2.10.7_scala-2.10.7.tgz]

### 8. 上传解压 ###

### 9. 配置环境变量 ###

vim ~/.bashrc
    
    # scala
    export SCALA_HOME=/usr/local/src/scala-2.10.7
    export PATH=$PATH:$SCALA_HOME/bin
    
    配置生效
    source ~/.bashrc

输入scala  
![在这里插入图片描述][20181224123856351.png]  
安装成功

### 10. 节点分发 ###

略~

### 11. 启动spark集群 ###

cd /usr/local/src/spark-2.0.2/sbin

执行

start-all.sh

### 11. 验证 ###

查看jps  
![在这里插入图片描述][20181224124102791.png]  
浏览器输入ip:8080  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNjg4Nzg2Mw_size_16_color_FFFFFF_t_70]

[20190108195223672.png]: /images/20220403/8230ed78b7474356a0f85bc3d02f6585.png
[Link 1]: http://spark.apache.org/downloads.html
[20181224122332245.png]: /images/20220403/bd19d86fce58410d9bb249d522b03364.png
[spark-env.sh]: http://spark-env.sh
[https_downloads.lightbend.com_scala_2.10.7_scala-2.10.7.tgz]: https://downloads.lightbend.com/scala/2.10.7/scala-2.10.7.tgz
[20181224123856351.png]: /images/20220403/6ba8212fee0a40e4852c322beac15c5a.png
[20181224124102791.png]: /images/20220403/19a56ddbf09f4adc87daadda49d2a4fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNjg4Nzg2Mw_size_16_color_FFFFFF_t_70]: /images/20220403/2d7229e55d5143ed9966be3c3dc965da.png