Win10下安装spark踩坑实录

深碍√TFBOYSˉ_ 2023-02-14 07:49 7阅读 0赞

## 配置spark之前，需要有jdk8，Hadoop环境 ##

### 目录 ###

*   *  配置spark之前，需要有jdk8，Hadoop环境
     *  一.安装IDE
     *  二.安装scala
     *   *  step1：下载
         *  step2：配置环境
         *  step3:测试
     *  三.安装Spark
     *   *  step1：添加环境变量
         *  step2：复制winutils.exe
         *   *  问题1：
             *  问题2：
             *  问题3：
             *  问题4：
             *  问题5：
         *  step3：测试
     *  四.在eclipse中运行第一个spark程序
     *  参考文档

## 一.安装IDE ##

[http://scala-ide.org/download/sdk.html][http_scala-ide.org_download_sdk.html]

![图片][format_png]

版本号最好对应上

也有scala的插件，但是不建议这样装

直接解压下载好的安装包

## 二.安装scala ##

### step1：下载 ###

[https://www.scala-lang.org/download/2.12.3.html][https_www.scala-lang.org_download_2.12.3.html]

![图片][format_png 1]

msi和zip都可以

zip直接就是源码，下载解压之后就可以啦

msi有一个安装引导助手，如下图：

双击scala-2.11.8.msi安装包，启动安装程序，

![图片][format_png 2]

点击next

中间会有一步选择安装位置的，这里要注意，路径里不要用空格，不要有空格，不要有空格

### step2：配置环境 ###

①系统变量里增加一项：![图片][format_png 3]

②在Path中增加一项：

![图片][format_png 4]

要注意啊，上面写了bin，下面就不要写

### step3:测试 ###

![图片][format_png 5]

## 三.安装Spark ##

官网传送门：[https://spark.apache.org/downloads.html][https_spark.apache.org_downloads.html]

由于我已经配置好了hadoop2.8.5，就选择了这个版本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]  
有一个问题需要注意，就是尽管本地已经装了hadoop，但是，还是选用上图的版本。下图的这个版本配置起来会出现各种各样的问题，比较坑。要特别注意！！  
本地2.8.5的hadoop和2.4.6的spark是可以一起用的  
![图片][format_png 6]

首先下载安装包

### step1：添加环境变量 ###

添加一个SPARK\_HOME ，值是解压后的路径

![图片][format_png 7]

在Path中添加一项，如下图所示

![图片][format_png 8]

### step2：复制winutils.exe ###

之前装Hadoop时，下载过这个文件，把这个拷贝到spark的bin下

#### 问题1： ####

按照网上的教程，发现配置出来以后，系统找不到指定的路径

![图片][format_png 9]

解决方法：

step1：检查java的配置。java的安装路径里不要有空格。在cmd输入java，javac是否正常。

step2：如果发现不正常，重新配置java环境后，重新打开cmd再次输入spark-shell

#### 问题2： ####

输入spark-shell后报错，报错信息如下

Error: A JNI error has occurred, please check your installation and try again
    Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
    	at java.lang.Class.getDeclaredMethods0(Native Method)
    	at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    	at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    	at java.lang.Class.getMethod0(Class.java:3018)
    	at java.lang.Class.getMethod(Class.java:1784)
    	at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
    Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
    	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    	... 7 more

解决办法：  
step1：尝试在spark安装目录下的conf/spark-env.sh中添加一句话，把hadoop的classpath引入

官网介绍传送门：[https://spark.apache.org/docs/latest/hadoop-provided.html](https://spark.apache.org/docs/latest/hadoop-provided.html)
    
             我在官网上下的版本，需要手动配置这个文件，先把template的后缀去掉

### in conf/spark-env.sh ###
    # 下面有是3种添加办法
    # If 'hadoop' binary is on your PATH
    export SPARK_DIST_CLASSPATH=$(hadoop classpath)
    # 这个地方的意思是如果环境变量里已经配置好hadoop了
    # 那就直接把上面的这句话抄到spark-env.sh中
    # With explicit path to 'hadoop' binary
    export SPARK_DIST_CLASSPATH=$(/path/to/hadoop/bin/hadoop classpath)
    # 如果没有配置hadoop的环境变量，那就把绝对路径写进去。
    # 比如，我装在了D:/software/hadoop-2.8.5下，我就写
    export SPARK_DIST_CLASSPATH=$(D::/software/hadoop-2.8.5/hadoop classpath)
    # Passing a Hadoop configuration directory
    export SPARK_DIST_CLASSPATH=$(hadoop --config /path/to/configs classpath)

step2: 写完之后发现还是会报错，那就简单粗暴一点，缺什么补什么，把缺的包下载好，扔到spark的jars文件夹下  
下载传送门：[https://repo1.maven.org/maven2/org/slf4j/][https_repo1.maven.org_maven2_org_slf4j]

下载3个包，版本最好一致

![图片][format_png 10]

点开上述三个框之后，选择版本，然后选择后缀为jar的包

![图片][format_png 11]

#### 问题3： ####

上述操作后，还会报错，报错如下：

Error: A JNI error has occurred, please check your installation and try again
    Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
    	at java.lang.Class.getDeclaredMethods0(Native Method)
    	at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    	at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    	at java.lang.Class.getMethod0(Class.java:3018)
    	at java.lang.Class.getMethod(Class.java:1784)
    	at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
    Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
    	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    	... 7 more

一路踩坑，真的是太扎心了。配置了hadoop的classpath也不管用。  
解决办法：

把hadoop的所有jar包都放在一个文件夹里，然后把所有的jar都添加到spark下的文件夹下。然后，就可以了。。。

#### 问题4： ####

出现throws java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.错误

在运行下面命令时，先建文件夹/tmp/hive，然后777后面写文件夹路径

运行：
    
    **winutils.exe chmod 777 /tmp/hive**
    
    再使用以下命令启动就OK了
    
    **spark-shell --master local[2]**

#### 问题5： ####

本地环境为Hadoop-2.8.5，配置时选择了不带hadoop的spark。

据好友测试，这种情况下也可以下带hadoop的spark的，hadoop不太匹配也可以

### step3：测试 ###

在命令行输入spark-shell

发现勉强能跑通，还是有错误，暂时还没有解决这些错误

![图片][format_png 12]

![图片][format_png 13]

勉强成功！！！

## 四.在eclipse中运行第一个spark程序 ##

1.配置编译器，打开eclipse之后，新建项目，右键项目，选择properties

![图片][format_png 14]

2.新建scala文件，写入以下几行：

object HelloWorld {
      def main(args:Array[String]):Unit={
        var sum = 0
        for (i <-"hello"){
          sum=i+sum//此时为ascll码相加
        }
        println("sum="+sum)
      }
    }

3.点击运行  
![图片][format_png 15]

4.查看运行结果

![图片][format_png 16]

## 参考文档 ##

1.《win下安装scala》[https://www.cnblogs.com/freeweb/p/5623372.html][https_www.cnblogs.com_freeweb_p_5623372.html]

2.《windows本地安装spark 运行spark-shell出现系统找不到指定路径》[https://blog.csdn.net/qq\_34239412/article/details/89513335][https_blog.csdn.net_qq_34239412_article_details_89513335]

[http_scala-ide.org_download_sdk.html]: http://scala-ide.org/download/sdk.html
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1VRZ1dwM25KRFNvMGdKWjEucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[https_www.scala-lang.org_download_2.12.3.html]: https://www.scala-lang.org/download/2.12.3.html
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1k1ejJhVG9KeWhnOXFRcDUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzZ4alRUZFd2MjBRVDFLSkUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0xIa1J3ZVBrU3U5bzc1a3UucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0I2OUE5OFlicmpvNVVsOHUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzRaTUIxUGE5eDM0U0FmVDIucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[https_spark.apache.org_downloads.html]: https://spark.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020061520193685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E=,size_16,color_FFFFFF,t_70
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3l1UEdCbjN4MFhvWXk2YWIucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0Z3aWFFcEdvcEpWZkNEcGQucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mLzk1ZW5keDI2TG00QlBuMVoucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3lNa1MzeUNhY1RHVWk0OEUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[https_repo1.maven.org_maven2_org_slf4j]: https://repo1.maven.org/maven2/org/slf4j/
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1BYeHVUNXJuSmNrUVNja0wucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3dOYnA4aHlpQlNMYmFRNVUucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3RoMXlNUVZvQ2hHdG51WnAucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL2NmRWljak90MkdMcnNxSVEucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL3k4MXljR2E3SUc0V2JJWlMucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL1lFZUJhSktzbEpndTZ0NkMucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWRlci5zaGltby5pbS9mL0VJc0RxajBKU3FEakl4OWMucG5nIXRodW1ibmFpbA?x-oss-process=image/format,png
[https_www.cnblogs.com_freeweb_p_5623372.html]: https://www.cnblogs.com/freeweb/p/5623372.html
[https_blog.csdn.net_qq_34239412_article_details_89513335]: https://blog.csdn.net/qq_34239412/article/details/89513335