spark sql： rdd 和 DataFrame的转换

「爱情、让人受尽委屈。」 2022-04-13 14:53 180阅读 0赞

1， DataFrame和 DataSet的关系

type DataFrame = Dataset[Row]

2， RDD 和 DataFrame 的关系

import sparkSession.implicits._
    val df = rdd.toDF

3, 把一般化数据， 变为结构化数据， 使用sql等工具进行查询

import org.apache.spark.sql.SparkSession
    import org.apache.spark.{SparkConf, SparkContext}
    
    object SparkRdd {
      case class  per(id:Int, name:String,age:Int)
    
      def main(args: Array[String]): Unit = {
        //使用rdd, 过滤 ------->读文件， 判断和过滤
        //spark配置
        val conf = new SparkConf()
        conf.setMaster("local[*]").setAppName("testFilter")
        val spark =  SparkSession.builder().config(conf).getOrCreate()
    
        //读取文件
        val rdd = spark.sparkContext.textFile("file:///home/wang/txt/per.txt")
        val rdd2 = rdd.map(_.split(",")).map(arr=>{
          val id=arr(0).toInt
          val name=arr(1)
          val age=arr(2).toInt
          per(id,name,age)
        })
        import spark.implicits._
        val df = rdd2.toDF()
        /**
          * ---+----+---+
          | id|name|age|
          +---+----+---+
          |  1|   a| 23|
          |  2|   b| 56|
          |  3|   c| 89|
          |  4|   d|100|
          |  5|lisi| 90|
          |  6|dage| 88|
          +---+----+---+
          */
          df.cache()
    
        //变换，过滤:  age >30 && id%3=0
        val  df2=df.filter(
          row=> row.get(2).asInstanceOf[Int] > 30
          && row.get(0).asInstanceOf[Int] %3==0)
        df2.show()
        /**
          * +---+----+---+
            | id|name|age|
            +---+----+---+
            |  3|   c| 89|
            |  6|dage| 88|
            +---+----+---+
          */
    
        //使用spark sql 查询
         df.createTempView("testTable")
         val  df3=spark.sql("select * from testTable where" +
           " age > 30 and id %3 ==0")
         df3.show()
        /**
          * +---+----+---+
            | id|name|age|
            +---+----+---+
            |  3|   c| 89|
            |  6|dage| 88|
            +---+----+---+
          */
      }
    }