Ubuntu 16.04下Spark安装与开发环境搭建

超、凢脫俗 2022-04-17 00:45 206阅读 0赞

[https://blog.csdn.net/lengconglin/article/details/77847623][https_blog.csdn.net_lengconglin_article_details_77847623]

一、Spark运行环境  
　 　Spark是Scala写的，运行在JVM上，所以运行环境Java7+，如果使用Python API，需要安装Python 2.6+或者Python3.4+，安装之前确认已经安装了Java,可参见本人博客：http://blog.csdn.net/lengconglin/article/details/77016911  
　　这里注意版本对应问题，2.0以上都对应Scala2.11 Spark1.6.2-Scala 2.10 Spark 2.0.0 -Scala 2.11

二、下载Spark  
　　下载地址为：http://spark.apache.org/downloads.html  
　　  
　　 搭建Spark不需要Hadoop，如有hadoop集群，可下载相应的版本  
　　 下载之后解压

cd ~/Downloads/  
tar xzvf spark-2.2.0-bin-hadoop2.7.tgz  
mv spark-2.2.0-bin-hadoop2.7/ spark  
sudo mv spark/ /usr/lib/  
1  
2  
3  
4  
三、配置Spark和.bashrc

cd /usr/lib/spark/conf/  
cp spark-env.sh.template spark-env.sh  
gedit spark-env.sh  
1  
2  
3  
添加如下两行：  
JAVA\_HOME=/usr/lib/jdk/jdk1.8.0\_144  
SPARK\_WORKER\_MEMORY=4g

sudo gedit ~/.bashrc  
export JAVA\_HOME=/usr/lib/jdk/jdk1.8.0\_144  
export SPARK\_HOME=/usr/lib/spark  
export PATH=$PATH:$JAVA\_HOME/bin  
export PATH=$PATH:$SPARK\_HOME/bin:$SPARK\_HOME/sbin  
1  
2  
3  
4  
5  
可以打开终端进行测试，输入spark-shell:

四、IntelliJ IDEA 开发环境搭建

首先下载intellij idea，下载地址为：https://www.jetbrains.com/idea/  
加压之后进入bin目录，打开终端运行 ./idea.sh 本人下载的是完全版，所以需要输入注册码：  
1. 到网站 http://idea.lanyus.com/ 获取注册码。  
2.填入下面的license server:  
　　http://intellij.mandroid.cn/  
　　http://idea.imsxm.com/  
　　http://idea.iteblog.com/key.php  
以上方法验证均可以。

可以在安装的时候就选择安装Scala插件，也可以之后在插件里面搜索安装Scala,具体如下：  
File -> Settings -> Plugins 搜素Scala,找到插件安装，安装完成之后重启IDE

测试：File ->New -> Project… 弹出的对话框选择Scala -> SBT 之后设置名字，选择JDK，SBT和Scala版本：

点击Finish,然后耐心等待一段时间，后台需要下载相应依赖和代码，所以要保证网络环境良好。  
\---------------------  
作者：lengconglin  
来源：CSDN  
原文：https://blog.csdn.net/lengconglin/article/details/77847623  
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_lengconglin_article_details_77847623]: https://blog.csdn.net/lengconglin/article/details/77847623