sparkSQL之SQL风格的wordCount

末蓝、 2024-04-18 10:11 35阅读 0赞

//使用sparkSql完成wordCount
    object wordCount_SQL {
      def main(args: Array[String]): Unit = {
        //1.创建sparkSession
        val spark: SparkSession = SparkSession.builder().appName("wc").master("local[*]").getOrCreate()
        val sc: SparkContext = spark.sparkContext
        sc.setLogLevel("WARN")
    
        //2.读取文件
        val df: DataFrame = spark.read.text("E:\\ideal_workspace\\spark\\day01\\words.txt")
        val ds: Dataset[String] = spark.read.textFile("E:\\ideal_workspace\\spark\\day01\\words.txt")
    
        //3.对每一行按照空格切开并压平
        //df.flatMap(_.split(" ")),df没有泛型，所以不知道_表示String,只能使用ds
        import spark.implicits._
        val wordDS: Dataset[String] = ds.flatMap(_.split(" "))
        wordDS.show()
        //ds有泛型，所以编译器知道_表示String
    
    
        //4.注册表
        wordDS.createOrReplaceTempView("t_word")
        //5.wordCount查询
        val sql:String =
          """
            |select value,count(value) as counts
            |from t_word
            |group by value
            |order by counts desc
          """.stripMargin
    
        spark.sql(sql).show()
    
        spark.stop()
        sc.stop()
    
      }
    
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，35人围观）

还没有评论，来说两句吧...

相关阅读

相关 sparkSQL之SQL风格的wordCount

//使用sparkSql完成wordCount object wordCount_SQL { def main(args: Array[Stri...

末蓝、/ 2024年04月18日 10:11/ 0 赞/ 36 阅读

相关 SparkSQL之DSL风格的wordcount

object WordCount_DSL { def main(args: Array[String]): Unit = { //1.创...

电玩女神/ 2024年04月18日 10:11/ 0 赞/ 40 阅读

相关 SparkSQL之操作Mysql

准备工作我们准备使用`sparksql`数据库，然后使用`TBLS`表，这个TBLS保存了表的元数据信息。 ![在这里插入图片描述][watermark_type_

待我称王封你为后i/ 2023年07月19日 04:55/ 0 赞/ 25 阅读

相关 SparkSQL之External Data

External Data产生背景在之前的案例中，每一个Spark Application都是以加载数据开始，经过一系列处理，然后把结果展示到控制台中。在生产环境

雨点打透心脏的1/2处/ 2023年07月19日 04:48/ 0 赞/ 22 阅读

相关 SparkStream整合SparkSql统计wordCount

package com.zgw.spark.streaming import org.apache.log4j.{ Level, Logger}

亦凉/ 2023年06月15日 13:26/ 0 赞/ 15 阅读

相关 SparkSQL之数据写入

SparkSQL之数据写入 package com.spark.sparksql import java.sql.{ Connection, D

比眉伴天荒/ 2023年01月02日 01:17/ 0 赞/ 289 阅读

相关 hadoop之wordcount

1、搭建好一个hadoop程序： [hadoop完全伪分布式搭建][hadoop] 2、在myeclipse的安装目录下导入hadoop插件： ![这里写图片描述][S

布满荆棘的人生/ 2022年06月10日 05:11/ 0 赞/ 230 阅读

相关 Spark之SparkSQL实战

DataFrames 基本操作和 DSL SQL风格 UDF函数以及数据源： SparkSQL查询 Json数据准备 <table> <tbody> <

布满荆棘的人生/ 2022年01月23日 03:03/ 0 赞/ 423 阅读

相关 SparkSQL之UDAF使用

1.创建一个类继承UserDefinedAggregateFunction类。 \----------------------------------------------

阳光穿透心脏的1/2处/ 2021年12月16日 07:21/ 0 赞/ 337 阅读

相关 SparkSQL（一）--(SQL+DataFrame+functions+DataSet)

常见的SQL On Hadoop框架 hive（非常重要）：最原始的on hadoop的方案，由facebook贡献；将sql转化为底层MR/Tez/Spark作业

ゝ一纸荒年。/ 2021年11月11日 00:20/ 0 赞/ 329 阅读