SparkSQL读取文件时，数据字段类型调整

快来打我* 2023-07-20 10:52 203阅读 0赞

使用spark读取parquet文件时，例如读取在`file:///E:/test/clean`文件夹下的文件：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][20200401110619342.png]  
而我们的文件内容中的数据结构是：

val struct = StructType(
        Array(
          StructField("uid", StringType),
          StructField("time", StringType),
          StructField("netType", StringType),
          StructField("ip", StringType),
          StructField("desc_type", StringType),
          StructField("day", StringType),
          StructField("num", LongType),
          StructField("city", StringType)
    
        )
      )

但是当我们读取文件时：

object TopNStatJob { 
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession.builder().appName("TopNStatJob")
          .config("spark.sql.sources.partitionColumnTypeInference.enabled","false")
          .master("local[2]").getOrCreate()
        val accessDF = spark.read.format("parquet").load("file:///E:/test/clean")
        accessDF.printSchema()
        accessDF.show(false)
        spark.stop
      }
    }

控制台输出的schema信息是：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]  
在之前定义的`day`类型是`string`，而读取时的类型变成了`integer`。  
因此需要修改：

val spark = SparkSession.builder().appName("TopNStatJob")
          .config("spark.sql.sources.partitionColumnTypeInference.enabled","false")
          .master("local[2]").getOrCreate()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]: /images/20230528/b42c50a4bad24501bb3c8e53936b250a.png
[20200401110619342.png]: /images/20230528/19888ed464884f8788c9827d31e51f15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]: /images/20230528/0a08d68ecd0d4be391c816632a7d8c92.png