windows中安装Spark

Dear 丶 2022-09-01 07:47 109阅读 0赞

由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及[安装Sacla][Sacla]这里不做介绍。

### 1.下载Spark包 ###

进入Spark的[下载页面][Link 1]，选择需要下载的tgz文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70]

### 2.下载Hadoop包 ###

下载Spark时，我们选择的是Hadoop 2.7，所以我们进入[Apache Hadoop下载页][Apache Hadoop]中下载对应版本的tar.gz文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 1]

### 3. 安装Spark ###

解压下载后的文件到指定目录，然后在Path中设置你的解压目录地址。  
我的地址是D:\\spark-3.0.3-bin-hadoop2.7，所以在Path中添加地址D:\\spark-3.0.3-bin-hadoop2.7\\bin即可。完成后可以在控制台输入：spark-shell测试安装是否成功  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 2]  
如果你本地没有hapoop环境，会出现以下错误：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 3]  
当你安装了hadoop后，该错误就没有了。

### 4.安装hadoop ###

解压下载后的文件到指定目录，在Path设置你的解压目录地址。  
我的地址是D:\\hadoop-2.7.7，所以在Path中添加地址D:\\hadoop-2.7.7\\bin即可。完成后可以在控制台输入：`hadoop version`测试安装是否成功  
![在这里插入图片描述][c0740f9869394e1897fad558eae36e21.png]

[Sacla]: https://blog.csdn.net/github_38924695/article/details/118469547
[Link 1]: http://spark.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70]: /images/20220829/c9a302f7f6654be3be57be8895306a10.png
[Apache Hadoop]: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/9465fa856f8f4405874b73d3f127b542.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/aef1f54b58384d1ba375cef55bab0d30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zODkyNDY5NQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/57b7f8ddc43147ad97c2bcc57306fa41.png
[c0740f9869394e1897fad558eae36e21.png]: /images/20220829/9a01169de72e4337919126005a8a4cd6.png