十二.SparkSQL中json数据文件转换成parquet文件

阳光穿透心脏的1/2处 2022-05-09 12:58 172阅读 0赞

**第一步**  
     首先在本地创建一个json文件,名字叫json\_schema\_infer.json,文件中数据的格式如下:

{"name":"liguohui","gender":"M","height":160}
    {"name":"zhangsan","gender":"F","height":175,"age":26}
    {"name":"wangwu","gender":"M","height":180.3}

**第二步**  
     读取json配置文件,返回DataFrame类型的数据:

val df = spark.read.format("json").load("json_schema_infer.json")

**第三步**  
     把读取到的json文件中的数据写到parquet文件中:

df.write.format("parquet").save("/Users/fish/spark-sql/sparksql/tmp")

之后会在`/Users/fish/spark-sql/sparksql/tmp` 目录下生成以.parquet结尾的文件.

**第四步**  
     demo实战示例:

import org.apache.spark.sql.SparkSession
    object SchemaInfoApp {
    
      def main(args: Array[String]): Unit = {
    
        val spark =SparkSession.builder().appName("SchemaInfoApp").master("local[2]").getOrCreate()
    
        val df = spark.read.format("json").load("json_schema_infer.json")
    
        df.write.format("parquet").save("/Users/fish/spark-sql/sparksql/tmp")
    
        df.printSchema()
    
        df.show()
    
        spark.stop()
      }
    }

**第五步**  
schema方法的打印结果  
![在这里插入图片描述][70]

show方法的打印结果:

![在这里插入图片描述][70 1]  
至此就完成了由json文件读取转换成DataFrame类型的文件,再以parquet的形式写入到文件中的过程.

[70]: /images/20220506/168c93723d1f40bc864f657e3aa35736.png
[70 1]: /images/20220506/81016e77d4bc48e498fdfd44a1e73533.png

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关 python读parquet文件 pandas读parquet文件

如何使用gzip压缩后的parquet文件安装 pandas and pyarrow: pip install pandas pyarrow

迷南。/ 2023年01月19日 07:21/ 0 赞/ 231 阅读

相关文件内容转换成String、Json数据格式转换、Json文件序列化数据库总结

需求：将json格式的文件序列化为一个对象、并存入数据库，文件内容如下： { "user": [{ "id": "1", "user

你的名字/ 2022年11月06日 01:57/ 0 赞/ 184 阅读

相关 html文件转换成.vue_PDF文件如何转换成HTML？

大家都知道HTML是网页的通用语言，用处也比较多。有很多小伙伴想要将PDF文件转换成HTML超文本标记语言，但是不知道应该如何转换，那么今天我就来教教大家如何转换。不会的小伙伴

朴灿烈づ我的快乐病毒、/ 2022年10月26日 12:46/ 0 赞/ 487 阅读

相关 json转换成Excel文件导出（下载）工具

地址： [http://www.yzcopen.com/doc/jsonexcel][http_www.yzcopen.com_doc_jsonexcel] ![waterm

小鱼儿/ 2022年09月09日 14:52/ 0 赞/ 225 阅读

相关 .py文件转换成.pyc文件

pyc介绍 pyc是一种二进制文件，是由py文件经过编译后，生成的文件，是一种byte code，py文件变成pyc文件后，加载的速度有所提高。而且pyc是一种跨平台

我不是女神ヾ/ 2022年09月03日 04:23/ 0 赞/ 327 阅读

相关转Parquet文件

介绍： Apache Parquet is a columnar storage format available to any project in the Hadoop

分手后的思念是犯贱/ 2022年05月13日 15:16/ 0 赞/ 379 阅读

相关十二.SparkSQL中json数据文件转换成parquet文件

第一步首先在本地创建一个json文件,名字叫json\_schema\_infer.json,文件中数据的格式如下: {"name":"liguohu

阳光穿透心脏的1/2处/ 2022年05月09日 12:58/ 0 赞/ 173 阅读

相关八.SparkSQL之外部数据源操作parquet文件

一.引言前面讲的SparkSQL都是通过代码操作,这里换另外一种方式,通过命令的形式进行操作,实际就是代码放在命令行中执行. 概念: 方便快速

爱被打了一巴掌/ 2022年05月08日 12:54/ 0 赞/ 235 阅读

相关将本地的json文件转换成java对象

1.首先下载GSON 的jar 包。如gson-2.2.4.jar 2.然后创建一个javabean 和json里面的属性对应 3.下面是工具类代码 p

墨蓝/ 2022年04月10日 06:27/ 0 赞/ 293 阅读

相关 java中object数据怎么转换成json数据

可以通过这个（json-lib-2.3-jdk15.jar）jar里的方法转换 JSONObject json = JSONObject.fromObject

朴灿烈づ我的快乐病毒、/ 2021年09月30日 14:24/ 0 赞/ 722 阅读