Spark SQL实战(06)-RDD与DataFrame的互操作

淡淡的烟草味﹌ 2024-03-26 21:34 72阅读 0赞

val spark = SparkSession.builder()
      .master("local").appName("DatasetApp")
      .getOrCreate()

Spark SQL支持两种不同方法将现有RDD转换为DataFrame：

### 1 反射推断 ###

包含特定对象类型的 RDD 的schema。  
这种基于反射的方法可以使代码更简洁，在编写 Spark 应用程序时已知schema时效果很好

val peopleRDD: RDD[String] = spark.sparkContext.textFile(
      "/Users/javaedge/Downloads/sparksql-train/data/people.txt")
    
    // RDD => DF
    // RDD
    val peopleDF: DataFrame = peopleRDD.map(_.split(","))
      // RDD
      .map(x => People(x(0), x(1).trim.toInt))
      // DF
      .toDF()

### 2 通过编程接口 ###

构造一个schema，然后将其应用到现有的 RDD。

虽然这种方法更冗长，但它允许在运行时构造 Dataset，当列及其类型直到运行时才知道时很有用。

#### step1 ####

val peopleRDD: RDD[String] = spark.sparkContext.textFile(
      "/Users/javaedge/Downloads/sparksql-train/data/people.txt")
    // RDD
    val peopleRowRDD: RDD[Row] = peopleRDD.map(_.split(","))
      .map(x => Row(x(0), x(1).trim.toInt))

#### step2 ####

val struct = StructType(
        StructField("name", StringType, nullable = true) ::
          StructField("age", IntegerType, nullable = false) :: Nil)

#### step3 ####

使用SparkSession的createDataFrame方法将RDD转换为DataFrame

val peopleDF: DataFrame = spark.createDataFrame(peopleRowRDD, struct)
    
    peopleDF.show()

发表评论取消回复

表情：

评论列表（有 0 条评论，72人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark SQL实战(06)-RDD与DataFrame的互操作

val spark = SparkSession.builder() .master("local").appName("DatasetApp")

淡淡的烟草味﹌/ 2024年03月26日 21:34/ 0 赞/ 73 阅读

相关 spark-dataframe与rdd的区别

一：存储 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nL

Bertha 。/ 2024年02月19日 15:20/ 0 赞/ 7 阅读

相关 Spark SQL之RDD转DataFrame

准备文件首先准备好测试文件`info.txt`，内容如下： 1,vincent,20 2,sarah,19 3,sofia,29 4,

左手的ㄟ右手/ 2023年07月18日 14:13/ 0 赞/ 4 阅读

相关 Spark SQL RDD、DataFrame、Dataset、反射推断机制 Schema 操作！！

Spark SQL 结构化数据文件处理一、Spark SQL基本概念 1.1 需求 1.2 Spark SQL 简

╰+攻爆jí腚メ/ 2023年01月13日 05:57/ 0 赞/ 134 阅读

相关 Spark SQL RDD基本操作、RDD—DataFrame、API MySQL

Spark SQL编程初级实践一、Spark SQL基本操作 1.1 创建 test.json 1.2 test.

青旅半醒/ 2023年01月13日 04:02/ 0 赞/ 196 阅读

相关 DataFrame格式化和RDD/Dataset/DataFrame互转

1.如果是格式化成Json的話直接 val rdd = df.toJSON.rdd 2.如果要指定格式需要自定义函数如下: //格式化具体字段条目 def

喜欢ヅ旅行/ 2022年07月12日 02:50/ 0 赞/ 194 阅读

相关五.SparkSQL之DataFrame与RDD互操作二：编程方式

一. 引言创建数据集的第二种方法是通过编程接口，允许您构建模式，然后将其应用于现有RDD。虽然此方法更详细，但它允许您在直到运行时才知道列及其类型时构造数据

「爱情、让人受尽委屈。」/ 2022年05月08日 09:22/ 0 赞/ 232 阅读

相关四.SparkSQL中DataFrame与RDD互操作之一：反射方式

一.引言 Spark SQL支持两种不同的方法将现有RDD转换为数据集。第一种方法使用反射来推断包含特定类型对象的RDD的模式。这种基于反射的方法可以使代码更简洁，

r囧r小猫/ 2022年05月08日 08:52/ 0 赞/ 181 阅读

相关 spark sql： rdd 和 DataFrame的转换

1， DataFrame和 DataSet的关系 type DataFrame = Dataset[Row] 2， RDD 和 DataFrame 的关系

「爱情、让人受尽委屈。」/ 2022年04月13日 14:53/ 0 赞/ 226 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 273 阅读