Spark RDD转换为DataFrame

女爷i 2022-01-07 10:53 294阅读 0赞

`#构造case class，利用反射机制隐式转换`

`scala> ``import` `spark.implicits._`

`scala> val rdd= sc.textFile(``"input/textdata.txt"``)`

`scala> ``case` `class Person(``id``:Int,name:String)`

`scala> val ``df` `= rdd.map(_.``split``(``","``)).map(x=>Person(x(0).toInt,x(1))).toDF`

`scala> ``df``.show`

`+---+--------+`

`| ``id``| name|`

`+---+--------+`

`| 1|zhangsan|`

`| 2| lisi|`

`| 3| wangwu|`

`| 4| zhaoliu|`

`+---+--------+`

`#通过schema，Row构造dataframe`

`scala> ``import` `org.apache.spark.sql.types._`

`scala> ``import` `org.apache.spark.sql.Row`

`scala> val structFields = Array(StructField(``"id"``,IntegerType,``true``),StructField(``"name"``,StringType,``true``))`

`scala> val structType = StructType(structFields) ``#创建schema结构`

`scala> val lines= sc.textFile(``"input/textdata.txt"``)`

`scala> val rdd = lines.map(_.``split``(``","``)).map(x=>Row(x(0).toInt,x(1))) ``#创建RDD[Row]`

`scala> val ``df` `= spark.createDataFrame(rdd,structType) ``#通过RDD[Row],schema构建DataFrame`

`scala> ``df``.show`

`+---+--------+`

`| ``id``| name|`

`+---+--------+`

`| 1|zhangsan|`

`| 2| lisi|`

`| 3| wangwu|`

`| 4| zhaoliu|`

`+---+--------+`

`cat` `textdata.txt`

`1,zhangsan`

`2,lisi`

`3,wangwu`

`4,zhaoliu`

发表评论取消回复

表情：

评论列表（有 0 条评论，294人围观）

还没有评论，来说两句吧...

相关阅读

相关 RDD和Dataframe相互转换

参考：https://www.cnblogs.com/starwater/p/6841807.html 在spark中，RDD、DataFrame、Dataset是最常用的数

痛定思痛。/ 2022年12月13日 11:30/ 0 赞/ 222 阅读

相关 Spark之RDD、DataSet、DataFrame转换

前面已经给大家说过RDD、DataSet、DataFrame三者之间的关系以及区别，各自都有各自的优劣。RDD、DataFrame、Dataset三者有许多共性，有各自适用的场

偏执的太偏执、/ 2022年11月28日 00:52/ 0 赞/ 377 阅读

相关从RDD转换得到DataFrame

Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是，利用反射来推断包含特定类型对象的RDD的schema，适用对已知数据结构的RDD转换；第二种

今天药忘吃喽~/ 2022年06月07日 05:48/ 0 赞/ 215 阅读

相关 DataFrame，将RDD转换成DataFrame

DataFrame相对于一张表第一步创建一个普通的RDD，但是必须将其转换为RDD<Row>的这种格式 JavaRDD<Row> rows = lines.map

短命女/ 2022年05月16日 07:35/ 0 赞/ 280 阅读

相关 spark sql： rdd 和 DataFrame的转换

1， DataFrame和 DataSet的关系 type DataFrame = Dataset[Row] 2， RDD 和 DataFrame 的关系

「爱情、让人受尽委屈。」/ 2022年04月13日 14:53/ 0 赞/ 222 阅读

相关 Spark之RDD与DataFrame互相转换

在Spark中RDD转换为DataFrame一共有两种方法。一种是基于一个封装数据的类去转换，另一种是通过结构类型去转换，下面分别介绍。基于封装数据的类去转换（反射方式）

左手的ㄟ右手/ 2022年03月26日 11:50/ 0 赞/ 276 阅读

相关 Spark RDD转换成DataFrame的两种方式

Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种

阳光穿透心脏的1/2处/ 2022年01月11日 15:05/ 0 赞/ 369 阅读

相关 Spark之 RDD转换成DataFrame的Scala实现

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s

水深无声/ 2022年01月07日 10:57/ 0 赞/ 284 阅读

相关 Spark RDD转换为DataFrame

`构造case class，利用反射机制隐式转换` `scala> ``import` `spark.implicits._` `scala> val rdd= sc.te

女爷i/ 2022年01月07日 10:53/ 0 赞/ 295 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 272 阅读