DataFram列操作_withColumn()

Love The Way You Lie 2022-11-26 02:59 190阅读 0赞

# 一、说明 #

1、常用列对象：' 、$ 、col 、column；

2、withColumn的第二个参数要传入已有列的Column对象，否则会报错；

3、sql.functions.lit()函数,返回的也是列对象，可以传入任意参数值；

# 二、实例 #

## 1、testData ##

张三,23
    李四,24
    王五,25
    赵六,26

## 2、代码  ##

package com.cn.dataFram
    
    import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
    import org.apache.spark.sql.functions._
    object DataFram {
      def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder()
          .appName("")
          .master("local[1]")
          .getOrCreate()
    
        spark.sparkContext.setLogLevel("WARN")
    
        import spark.implicits._
        val ds: Dataset[String] = spark.read.textFile("testData")
        val df: DataFrame = ds.map(x => x.split(","))
          .map(x => (x(0), x(1)))
          .toDF("name","age")
          .cache()
    
        /**
          * withColumn的第二个参数要传入已有列的Column对象，否则会报错；
          * column的表达式只能引用此数据集提供的属性。 添加引用其他数据集的列是错误的
          */
        //df.withColumn("sno","22")//报错
    
        //展示name,age列
        df.show()
    
        /**
          * def lit(literal : scala.Any) : org.apache.spark.sql.Column
          * sql.functions.lit()函数,返回的也是列对象，可以传入任意参数值；
          */
        df.withColumn("sno",lit("22"))
          //为列进行重命名
          .withColumnRenamed("name","newName")
          .show()
    
        /**
          * 列对象：' 、$ 、col 、column
          */
        df.withColumn("sno1",'age+1).show()
    
        df.withColumn("sno2",$"age").show()
    
        df.withColumn("sno3",col("age")+2).show()
    
        df.withColumn("sno4",column("age")+3).show()
    
      }
    }

## 3、输出结果 ##

+----+---+
    |name|age|
    +----+---+
    |  张三| 23|
    |  李四| 24|
    |  王五| 25|
    |  赵六| 26|
    +----+---+
    
    +-------+---+---+
    |newName|age|sno|
    +-------+---+---+
    |     张三| 23| 22|
    |     李四| 24| 22|
    |     王五| 25| 22|
    |     赵六| 26| 22|
    +-------+---+---+
    
    +----+---+----+
    |name|age|sno1|
    +----+---+----+
    |  张三| 23|24.0|
    |  李四| 24|25.0|
    |  王五| 25|26.0|
    |  赵六| 26|27.0|
    +----+---+----+
    
    +----+---+----+
    |name|age|sno2|
    +----+---+----+
    |  张三| 23|  23|
    |  李四| 24|  24|
    |  王五| 25|  25|
    |  赵六| 26|  26|
    +----+---+----+
    
    +----+---+----+
    |name|age|sno3|
    +----+---+----+
    |  张三| 23|25.0|
    |  李四| 24|26.0|
    |  王五| 25|27.0|
    |  赵六| 26|28.0|
    +----+---+----+
    
    +----+---+----+
    |name|age|sno4|
    +----+---+----+
    |  张三| 23|26.0|
    |  李四| 24|27.0|
    |  王五| 25|28.0|
    |  赵六| 26|29.0|
    +----+---+----+