第一个spark scala程序——wordcount

末蓝、 2022-06-09 13:35 249阅读 0赞

背景：C++的第一个程序是helloworld，但对于spark scala，输出helloworld并没有什么意义，体现不了spark的精髓，所以wordcount才是王道……

话不多说，直接上代码wordcount  
（spark本地实现）  
本地文件test.txt如下：  
spark shell java scala spark shell

import org.apache.spark.{SparkContext, SparkConf}
    
    object spark_test {
    
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("WordCount").setMaster("local")
        val sc = new SparkContext(conf)
        val lines = sc.textFile("E:/test.txt")   // 读取本地文件
        val words = lines.flatMap(_.split(" ")).filter(word => word != " ")
        val pairs = words.map(word => (word, 1))
        val wordscount = pairs.reduceByKey(_ + _)
        wordscount.collect.foreach(println)
    
        //通过sortByKey方法对单词出现的次序进行排序
        val wordcount = pairs.reduceByKey(_ + _).map(pair => (pair._2, pair._1)).sortByKey(false).map(pair => (pair._2, pair._1))
        wordcount.collect.foreach(println)
        sc.stop()
      }
    }

结果如下：  
(scala,1)  
(spark,2)  
(java,1)  
(shell,2)

//通过sortByKey方法对单词出现的次序进行排序  
(spark,2)  
(shell,2)  
(scala,1)  
(java,1)

发表评论取消回复

表情：

评论列表（有 0 条评论，249人围观）

还没有评论，来说两句吧...

相关阅读

相关编写第一个MapReduce程序（WordCount）

一、数据格式准备 1. 创建一个新的文件【在master节点中】 vim wordcount.txt 2. 向其中放入内容并保

末蓝、/ 2022年12月15日 06:30/ 0 赞/ 229 阅读

相关使用Spark完成WordCount程序（Java、Scala双语言）

我们分别使用scala和java两门语言完成项目先创建一个maven项目，添加java和scala的sdk ![在这里插入图片描述][watermark_type_ZmF

小鱼儿/ 2022年09月05日 04:19/ 0 赞/ 182 阅读

相关第一个MapReduce程序——WordCount

通常我们在学习一门语言的时候，写的第一个程序就是Hello World。而在学习Hadoop时，我们要写的第一个程序就是词频统计`WordCount`程序。一、MapRe

末蓝、/ 2022年08月03日 00:52/ 0 赞/ 228 阅读

相关 Hadoop的第一个程序 wordcount

Hadoop的第一个程序 wordcount package com.songguoliang.hadoop.chapter05;

待我称王封你为后i/ 2022年08月02日 12:38/ 0 赞/ 185 阅读

相关第一个spark scala程序——wordcount

背景：C++的第一个程序是helloworld，但对于spark scala，输出helloworld并没有什么意义，体现不了spark的精髓，所以wordcount才是王道…

末蓝、/ 2022年06月09日 13:35/ 0 赞/ 250 阅读

相关 Scala WordCount

用scala实现wordcount例子为了简便，直接对字符串进行操作，没有读取文件。大致思路都在代码里了参考了这篇博客的思路，[传送门][Link 1]

╰半橙微兮°/ 2022年06月07日 03:07/ 0 赞/ 219 阅读

相关第一个wordcount程序

在hadoop集群中，系统自带了许多mapreduce的程序例子，在\{%HOME%\}/hadoop-mapreduce/hadoop-mapreduce-exampl

逃离我推掉我的手/ 2022年05月17日 11:17/ 0 赞/ 214 阅读

相关 scala和spark实践wordcount

1.scala实现：数据The\_Man\_of\_Property.txt： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

桃扇骨/ 2022年03月14日 14:40/ 0 赞/ 268 阅读

相关第一个Spark程序之Spark本地程序

程序和源数据均为本地源数据和程序代码 {"name":"Michael"} {"name":"Andy", "age":30} {"name"

骑猪看日落/ 2021年12月09日 02:15/ 0 赞/ 277 阅读

相关分别用Java、Scala、spark-shell开发wordcount程序及测试代码

1、用Java开发wordcount程序 1.1测试代码（本地）： package com.xzw.sparkcore;

骑猪看日落/ 2021年09月14日 03:56/ 0 赞/ 189 阅读