eclipse集成Scala,运行Spark项目

青旅半醒 2022-06-16 09:55 248阅读 0赞

为了学习[Spark][]，在window上使用eclipse创建包含[Scala][]的maven工程，并打包至于服务器运行。

#  #

## 1.1 hadoop安装 ##

安装hadoop2.6.0，参考[博客][Link 1]

## 1.2 spark下载 ##

下载spark-1.6.0-bin-hadoop2.6.tgz，[在官网下载][Link 2]，在 choose a download type中建议选择 select apache mirror。   
下载完成之后放在自己的相应目录，   
运行spark命令：   
./sbin/start-master.sh \#启动/停止主机   
./sbin/stop-master.sh \#启动/停止主机   
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://DevindeMac-mini.local:7077 \#加子嗣   
完成之后可以在 [http://localhost:8080/][http_localhost_8080] 查看运行详情。

## 1.3 scala下载 ##

安装包下载地址，进入官网：[http://www.scala-lang.org/][http_www.scala-lang.org]，选择相应的版本，我选择的scala-2.10.4， 这里可能在机器上不能正常运行的原因是jdk版本过低。   
下载完成之后，放在指定目录，在 ~/.bash\_profile配置环境变量   
export PATH=$PATH:/usr/local/Cellar/scala-2.10.4/bin   
成功之后可以使用 在终端运行 scala -version 、scala 查看是否成功。

## 1.4 安装scala IDE ##

网上都是直接下载 [http://scala-ide.org/download/sdk.html][http_scala-ide.org_download_sdk.html]，这里的镜像或者在线安装：eclipse在安装插件的方式安装。（eclipse 尤其注意版本）   
(1) 在Eclipse中选择Help->Install new Software   
[http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site][http_download.scala-ide.org_sdk_helium_e38_scala210_stable_site]

![这里写图片描述][SouthEast]

ps: 这里需要翻墙，且时间比较长   
(2)加插件下载链接安装后，会提示重新启动Eclipse   
(3)[测试][Link 3]   
新建Scala Project工程Test

object Testd {
      def main(args: Array[String]): Unit = {
         val array = Array("devin","shuai")
         array.foreach(println)
      }
    }
     
      
       1
       2
       3
       4
       5
       6
      
     
      
       1
       2
       3
       4
       5
       6

(4)建立基于spark的scala程序   
在eclipse中，依次选择“File” –>“New” –> “Other…” –> “Scala Wizard” –> “Scala Project”，创建一个Scala工程，并命名为“SparkScala”。   
右击“SaprkScala”工程，选择“Properties”，在弹出的框中，按照下图所示，依次选择“[Java ][Java]Build Path” –>“Libraties” –>“Add External JARs…”，导入spark-assembly-1.6.0-hadoop2.6.0.jar在spark-1.6.0-bin-hadoop2.6的lib目录下。如下图   
![这里写图片描述][20161204175317102]

package com.devin.spark.demo
    
    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object WordCount {
    
      def main(args: Array[String]) {      
       if (args.length < 0) {
           System.err.println("Usage: <file>")
           System.exit(1)
        }  
       println( "Hello World!" )
       //.setMaster("local")
       val conf = new SparkConf().setAppName("wordcount")//.setMaster("local")
       val sc = new SparkContext(conf)
       val line = sc.textFile("hdfs://localhost:9000/spark_in/").cache()  
       line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)
       sc.stop();
      }
    }
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12
       13
       14
       15
       16
       17
       18
       19
       20
       21
      
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12
       13
       14
       15
       16
       17
       18
       19
       20
       21

ps：运行代码时，可能出现scala冲突的情况，需要设置scala版本

## 1.5 建立基于maven的scala项目 ##

(1) 安装m2e-scala ,url是：[http://alchim31.free.fr/m2e-scala/update-site/][http_alchim31.free.fr_m2e-scala_update-site] 方法也是在eclipse中 install new soft 一样，如下图   
![这里写图片描述][20161204180009065]   
(2) 添加远程的原型或模板目录   
[http://repo1.maven.org/maven2/archetype-catalog.xml][http_repo1.maven.org_maven2_archetype-catalog.xml]建议先下载到本地再用加载本地的方式去添加（我用远程试了几次都没有成功）   
![这里写图片描述][20161204180136269]   
完成之后，重启eclipse，再创建maven工程就好。代码可以复用上面的。

![这里写图片描述][20161204180332785]

这里尤其注意修改原pom中内容（下面是我可用的pom文件）：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
      <modelVersion>4.0.0</modelVersion>
      <groupId>com.devin</groupId>
      <artifactId>spark.demo</artifactId>
      <version>0.0.1-SNAPSHOT</version>
      <name>${project.artifactId}</name>
      <description>My wonderfull scala app</description>
      <inceptionYear>2015</inceptionYear>
    
      <properties>
        <maven.compiler.source>1.6</maven.compiler.source>
        <maven.compiler.target>1.6</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.version>2.10.4</scala.version>
        <scala.compat.version>2.10</scala.compat.version>
      </properties>
    
      <dependencies>
        <dependency>
          <groupId>org.scala-lang</groupId>
          <artifactId>scala-library</artifactId>
          <version>${scala.version}</version>
        </dependency>
           <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-core_2.10</artifactId>
          <version>1.6.0</version>
        </dependency> 
    
    
      </dependencies>
    
      <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
          <plugin>
            
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>3.2.0</version>
            <executions>
              <execution>
                <goals>
                  <goal>compile</goal>
                  <goal>testCompile</goal>
                </goals>
                <configuration>
                  <args>
                    <arg>-make:transitive</arg>
                    <arg>-dependencyfile</arg>
                    <arg>${project.build.directory}/.scala_dependencies</arg>
                  </args>
                </configuration>
              </execution>
            </executions>
          </plugin>
          <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-surefire-plugin</artifactId>
            <version>2.18.1</version>
            <configuration>
              <useFile>false</useFile>
              <disableXmlReport>true</disableXmlReport>
              
              
              <includes>
                <include>**/*Test.*</include>
                <include>**/*Suite.*</include>
              </includes>
            </configuration>
          </plugin>
        </plugins>
      </build>
    </project>
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12
       13
       14
       15
       16
       17
       18
       19
       20
       21
       22
       23
       24
       25
       26
       27
       28
       29
       30
       31
       32
       33
       34
       35
       36
       37
       38
       39
       40
       41
       42
       43
       44
       45
       46
       47
       48
       49
       50
       51
       52
       53
       54
       55
       56
       57
       58
       59
       60
       61
       62
       63
       64
       65
       66
       67
       68
       69
       70
       71
       72
       73
       74
       75
      
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12
       13
       14
       15
       16
       17
       18
       19
       20
       21
       22
       23
       24
       25
       26
       27
       28
       29
       30
       31
       32
       33
       34
       35
       36
       37
       38
       39
       40
       41
       42
       43
       44
       45
       46
       47
       48
       49
       50
       51
       52
       53
       54
       55
       56
       57
       58
       59
       60
       61
       62
       63
       64
       65
       66
       67
       68
       69
       70
       71
       72
       73
       74
       75

这里可能遇见一些scala版本不对呀问题，处理方式   
[http://scala-ide.org/docs/current-user-doc/faq/index.html][http_scala-ide.org_docs_current-user-doc_faq_index.html]   
If this check returns a false-negative, it can be disabled at the workspace level, or at the project level. The setting is withVersionClasspathValidator in the Scala → Compiler → Build Manager preference section.   
如下图;   
![这里写图片描述][20161204180638959]

在mvn打包的时候有可能会遇到：   
\[ERROR\] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.0:compi   
le (default) on project iteblog: wrap: org.apache.commons.exec.ExecuteException:   
Process exited with an error: 1 (Exit value: 1) -> \[Help 1\]   
原因是mvn clean package默认只处理[Java][Java 1]源代码的编译、打包，而不管scala，所以编译时遇到Hello这个由scala语言编写的class，此时scala还没编译生成class，所以找不到相应的调用入口。   
解决办法：   
mvn clean scala:compile compile package   
也可以分开命令   
mvn clean   
mvn scala:compile compile   
mvn package

打包完成之后，提交到spark集群

./bin/spark-submit --master spark://DevindeMac-mini.local:7077 --class com.devin.spark.demo.WordCount /usr/local/Cellar/spark.demo-0.0.1-SNAPSHOT.jar
     
      
       1
      
     
      
       1

谢谢这位盆友，亲测有效

参考：   
http://blog.csdn.net/shuaidan19920412/article/details/53455560

[Spark]: http://lib.csdn.net/base/spark
[Scala]: http://lib.csdn.net/base/scala
[Link 1]: http://blog.csdn.net/shuaidan19920412/article/details/53000801
[Link 2]: http://spark.apache.org/downloads.html
[http_localhost_8080]: http://localhost:8080/
[http_www.scala-lang.org]: http://www.scala-lang.org/
[http_scala-ide.org_download_sdk.html]: http://scala-ide.org/download/sdk.html
[http_download.scala-ide.org_sdk_helium_e38_scala210_stable_site]: http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site
[SouthEast]: /images/20220616/e3eba79eabd64046b457e88294e80ba4.png
[Link 3]: http://lib.csdn.net/base/softwaretest
[Java]: http://lib.csdn.net/base/java
[20161204175317102]: /images/20220616/bb92798ec6ca465786e2d42f992b533c.png
[http_alchim31.free.fr_m2e-scala_update-site]: http://alchim31.free.fr/m2e-scala/update-site/
[20161204180009065]: /images/20220616/c3dff622d16b443f989e088d33a8fe33.png
[http_repo1.maven.org_maven2_archetype-catalog.xml]: http://repo1.maven.org/maven2/archetype-catalog.xml
[20161204180136269]: /images/20220616/1769b8812d764b408ef1e5ee9516bf78.png
[20161204180332785]: /images/20220616/c59f342c7d7644fbaf2d0546230c0b23.png
[http_scala-ide.org_docs_current-user-doc_faq_index.html]: http://scala-ide.org/docs/current-user-doc/faq/index.html
[20161204180638959]: /images/20220616/8a10418cb4de4db698e05104bfbcdde9.png
[Java 1]: http://lib.csdn.net/base/javase