十六.Spark SQL之读取复杂的json数据

旧城等待， 2022-04-22 06:06 131阅读 0赞

**第一步.准备json数据**

test.json

{"name":"liguohui","nums":[1,2,3,4,5]}
    {"name":"zhangsan","nums":[6,7,8,9,10]}

test2.json

{"name":"Yin","address":{"city":"chinese","state":"China"}}
    {"name":"ligh","address":{"city":null,"state":"California"}}

**第二步.读取简单json数据**

scala> val json = spark.read.format("json").load("file:///root/data/test.json")

通过show显示:  
![在这里插入图片描述][20181102173637626.png]

创建成表格的形式进行显示:

scala> json.createOrReplaceTempView("json_table")
    scala> spark.sql("select * from json_table").show

![在这里插入图片描述][20181102173758535.png]

显示数组中的其中一列:

scala> spark.sql("select name , nums[2] from json_table").show

![在这里插入图片描述][20181102173847951.png]

只显示数组中的一列数据:

scala> spark.sql("select name , explode(nums) from json_table").show

![在这里插入图片描述][20181102173938905.png]

**第三步.读取复杂的json数据**

scala> val json2 = spark.read.format("json").load("file:///root/data/test2.json")
    scala> json2.createOrReplaceTempView("json_tables2")

通过sql的形式显示:

scala> spark.sql("select * from json_tables2").show

![在这里插入图片描述][20181102174151509.png]

显示复杂的数据(通过点的形式):

scala> spark.sql("select address.city,address.state,name from json_tables2").show

![在这里插入图片描述][20181102174251569.png]

以上就完成了读取复杂json数据的操作。

[20181102173637626.png]: /images/20220422/3200fe09162c4c29bb583d0501ced712.png
[20181102173758535.png]: /images/20220422/112ced4965b747938c980feb122f4d4d.png
[20181102173847951.png]: /images/20220422/c3693dfead1d49118abd8bf7bf558803.png
[20181102173938905.png]: /images/20220422/dd87f90ba4d2438c95eceb288c95f195.png
[20181102174151509.png]: /images/20220422/8a8472ee41ac46e18088d3555b8374ea.png
[20181102174251569.png]: /images/20220422/cfded54eed02470c81a4d9c6910eaebc.png