spark (java API) 在Intellij IDEA中开发并运行

落日映苍穹つ 2022-01-27 14:01 178阅读 0赞

概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。  
分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行。[Github项目源码][Github]

图1，直接在intellij IDEA(社区版)中开发调试，直接run。

![spark hadoop intellij idea java 程序开发][spark hadoop intellij idea java]

图2，直接在intellij IDEA(社区版)中用hadoop YARN模式。

![这里写图片描述][SouthEast]

[Github项目源码][Github]

# 1.(第一部分)使用intellij IDEA创建一个Java的Maven项目。[Github项目源码][Github] #

初始化的MAVEN项目如下

![这里写图片描述][SouthEast 1]

# 2.根据[Spark官网实例][Spark]做二次开发[Github项目源码][Github] #

## 2.1.创建SimpleApp.java文件 `SimpleApp.java` ##

/**
     * MIT.
     * Author: wangxiaolei(王小雷).
     * Date:17-2-7.
     * Project:SparkJavaIdea.
     */
    import org.apache.spark.api.java.*;
    import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.function.Function;
    
    public class SimpleApp {
          
        public static void main(String[] args) {
            String logFile = "file:///opt/spark-2.1.0-bin-hadoop2.7/README.md"; // Should be some file on your system
            SparkConf conf = new SparkConf().setAppName("Simple Application");
            JavaSparkContext sc = new JavaSparkContext(conf);
            JavaRDD<String> logData = sc.textFile(logFile).cache();
    
            long numAs = logData.filter(new Function<String, Boolean>() {
                public Boolean call(String s) { return s.contains("a"); }
            }).count();
    
            long numBs = logData.filter(new Function<String, Boolean>() {
                public Boolean call(String s) { return s.contains("b"); }
            }).count();
    
            System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
    
            sc.stop();
        }
    }

## 2.2.修改pom.xml文件 `pom.xml` ##

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>wangxiaolei</groupId>
        <artifactId>SparkJavaIdea</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <dependencies>
            <dependency> 
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.1.0</version>
            </dependency>
        </dependencies>
    
    </project>

# 3.在intellij IDEA中运行Spark程序 #

## 3.1 设置IDEA运行项的Configuration中的VM opthion 增加`-Dspark.master=local` ##

![这里写图片描述][SouthEast 2]

## 3.2.右键SimpleApp.java 点击运行，稍等片刻看到运行成功。 ##

已经将Readme.md中的单词a和b统计出来了`Lines with a: 62, lines with b: 30`

![这里写图片描述][SouthEast 3]

至此，Spark在intellij IDEA中开发，并在IDEA中运行成功！

# 4.(第二部分)将intellij IDEA中的Spark java程序打包成jar[Github项目源码][Github] #

![这里写图片描述][SouthEast 4]

# 5.spark local模式运行 #

## 5.1.使用intellij IDEA的Terminal或者是系统（博主是Ubuntu）的Terminal，在当前项目路径（/home/xiaolei/Data/GS/Spark/SparkJavaIdea）执行如下代码。 ##

/opt/spark-2.1.0-bin-hadoop2.7/bin/spark-submit \
      --class "SimpleApp" \
      --master local[4] \
      target/SparkJavaIdea-1.0-SNAPSHOT.jar

![这里写图片描述][SouthEast 5]

![这里写图片描述][SouthEast 6]

至此，Spark local模式程序开发和运行成功！

# 6.YARN集群模式（或伪分布式）运行.——**需要有集群环境或者提前配置好了伪分布式环境**，伪分布式环境搭建参考另一篇博文[Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例][Ubuntu16.04_Hadoop2.6_Spark1.6] #

## 6.1.开启hadoop集群，开启Spark。 ##

# 初次搭建集群需要格式化namenode（已经初始化过可省略）
    /opt/hadoop-2.7.3/bin/hdfs namenode -format
    #开启hadoop集群（伪分布式）
    /opt/hadoop-2.7.3/sbin/start-all.sh
    #开启Spark
    /opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
    #查看开启状态
    jps

![这里写图片描述][SouthEast 7]

## 6.2 使用intellij IDEA的Terminal或者是系统（博主是Ubuntu）的Terminal，在当前项目路径（/home/xiaolei/Data/GS/Spark/SparkJavaIdea）执行如下代码。 ##

/opt/spark-2.1.0-bin-hadoop2.7/bin/spark-submit   --class SimpleApp   --master yarn --deploy-mode cluster   target/SparkJavaIdea-1.0-SNAPSHOT.jar

![这里写图片描述][SouthEast 8]

至此，Spark在intellij IDEA中开发，并在hadoop YARN模式下运行成功！

## 6.3.在Web中查看[Github项目源码][Github] ##

http://localhost:8088/cluster/apps

![这里写图片描述][SouthEast 9]

至此，Spark在intellij IDEA中开发，并在hadoop YARN模式下运行成功！

[Github]: https://github.com/wxiaolei/CSDN-CODE/tree/master/spark%20%28java%20API%29%20%E5%9C%A8Intellij%20IDEA%E4%B8%AD%E5%BC%80%E5%8F%91%E5%B9%B6%E8%BF%90%E8%A1%8C
[spark hadoop intellij idea java]: /images/20220127/397f65665e554971a432a9542a9eb3fb.png
[SouthEast]: /images/20220127/f8d49b2b0fcc4d688997582766c8b5bb.png
[SouthEast 1]: /images/20220127/b0576e942e274b2eb16e3a49829fa801.png
[Spark]: https://spark.apache.org/docs/latest/running-on-yarn.html
[SouthEast 2]: /images/20220127/1534666dc3414b0bb173bc6a4fb56a3c.png
[SouthEast 3]: /images/20220127/d884b064369a4fb6bb0525388cfa3abd.png
[SouthEast 4]: /images/20220127/a45b71e603b949279000d91d8b17d466.png
[SouthEast 5]: /images/20220127/8444fb2712494542a28aa377126aedb0.png
[SouthEast 6]: /images/20220127/4e53afde0fb045bcb638127e5c331303.png
[Ubuntu16.04_Hadoop2.6_Spark1.6]: http://blog.csdn.net/dream_an/article/details/51954985
[SouthEast 7]: /images/20220127/c9239026756049f5a5840c422efe79b4.png
[SouthEast 8]: /images/20220127/5b07547b2ec945a8a784a379304cf4c0.png
[SouthEast 9]: /images/20220127/1c65f603f78c45e7ab168c7856312d34.png