一篇看懂：IDEA 使用scala 编写wordcount程序并生成jar包实测

谁借莪１个温暖的怀抱￠ 2022-02-25 10:36 506阅读 0赞

准备工作：

此时在你的PC上，你的JDK应该已经安装配置好JDK1.8版本。

①首先官网下载IDEA(建议Ultimate版) [https://www.jetbrains.com/idea/download/\#section=windows][https_www.jetbrains.com_idea_download_section_windows]

②从 [http://idea.lanyus.com/][http_idea.lanyus.com] 获得注册码或其他各种方式破解(个人用学生版，未测试过这些网站)

③打开IDEA，安装sbt和scala插件，file-settings-Plugins直接搜scala和sbt安装即可。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 1][]

④新建工程，选择scala->sbt；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 2][]

选择适合的JDK和Scala版本；这里的版本一定要对应，JDK最好是1.8版，Scala最好不要是2.12.x以上，目前2.12及以上应该是到了spark2.4版本才支持（跟你要提交作业的spark集群的版本对应）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 3][]

到此建立工程完毕。

写程序并打包：

①编写scala程序，src->main->scala右键，new->scala class；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 4][]

选择Kind为Object；

![20190401172428686.png][]

然后输入你的程序。

package com.hq
    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import org.apache.spark.SparkContext._
    
    object wordcount {
      def main(args: Array[String]){
            if (args.length < 1) {
              System.err.println("Usage:")
              System.exit(1)
            }
    
        val conf = new SparkConf()
        // sc是Spark Context，指的是“上下文”，也就是我们运行的环境，需要把conf当参数传进去；
        val sc = new SparkContext(conf)
        //通过sc获取一个（hdfs上的）文本文件，args（0）就是我们控制台上传入的参数，local运行的话就是传入本地一个文本的path
        val input = sc.textFile(args(0))
    
        //下面就是wordcount具体的执行代码
        val lines=input.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)
    
        lines.saveAsTextFile(args(1))
    
        sc.stop()
      }
    }

②设置build.sbt文件

*name*:=**"Wordcount"**

*version*:=**"0.1"**

*scalaVersion*:=**"2.11.0"**

*libraryDependencies*\+=**"org.apache.spark"**%%**"spark-core"**%**"2.3.0"**

③打包，File->Project Structure->Artifacts，点“+”->JAR->From……；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 5][]

选择module和mainclass，JAR files from libraries选择第二项(网上都让选第一项，然而选第一项我挂了)；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 6][]

勾选include in project build，点ok；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 7][]

然后Build-Build Artifacts生成jar包，如果已有META-INF生成了，必须删除后再build。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 8][]

至此打包完成。

[https_www.jetbrains.com_idea_download_section_windows]: https://www.jetbrains.com/idea/download/#section=windows
[http_idea.lanyus.com]: http://idea.lanyus.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70]: /images/20220225/97f735aef2a34a5cbf8ae22bb591ba79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 1]: /images/20220225/70d13252fdf741b3a5aa1e560c41cb28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 2]: /images/20220225/7e5f7a4f8eb44b2bb01d69d6664d8d81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 3]: /images/20220225/8576cb970ec442c8b8fef58992e595f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 4]: /images/20220225/4546493d73394c9682459fdd68b12957.png
[20190401172428686.png]: /images/20220225/9dbd4b4be7ff4e07b2986815eb86714e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 5]: /images/20220225/752771b3fc8945dab2edaf5c9dd9116b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 6]: /images/20220225/7a44e200e0254275a3aba54230aa5e13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 7]: /images/20220225/8e83fcbf317041ed9b3eae68738b018b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhdGZhdG1vbW8_size_16_color_FFFFFF_t_70 8]: /images/20220225/7bd0807109b24e5cbe70d48a1885122d.png