DataFrame格式化和RDD/Dataset/DataFrame互转

喜欢ヅ旅行 2022-07-12 02:50 187阅读 0赞

1.如果是格式化成Json的話直接

val rdd = df.toJSON.rdd

2.如果要指定格式需要自定义函数如下:

//格式化具体字段条目

def formatItem(p:(StructField,Any)):String=\{  
　　p match \{  
　　　　case (sf,a) =>  
　　　　　　sf.dataType match \{  
　　　　　　　　case StringType => "\\"" + sf.name + "\\":\\"" + a + "\\""  
　　　　　　　　case IntegerType => "\\"" + sf.name + "\\":" + a  
　　　　　　　　case LongType => "\\"" + sf.name + "\\":" + a  
　　　　　　　　case StructType(s) => "\\"" + sf.name + "\\":" + formatStruct(s, a.asInstanceOf\[Row\])  
　　　　　　\}  
　　　　\}  
　\}

//格式化整行数据格式  
def formatStruct(schema:Seq\[StructField\],r:Row)= \{  
　　val paired = schema.zip(r.toSeq)  
　　"\{" + paired.foldLeft("")((s,p) => (if(s == "") "" else (s + ", ")) + formatItem(p)) + "\}"  
　\}

//格式化整个DF  
def formatDataFrame(st:StructType,srdd:DataFrame)=\{  
　　srdd.rdd.map(formatStruct(st.fields,\_))  
\}

调用示例:

val strings = formatDataFrame(df.schema, df)

strings.foreach \{ println \}

1.RDD -> Dataset   
val ds = rdd.toDS()  
  
2.RDD -> DataFrame   
val df = spark.read.json(rdd)  
  
3.Dataset -> RDD  
val rdd = ds.rdd  
  
4.Dataset -> DataFrame  
val df = ds.toDF()  
  
5.DataFrame -> RDD  
val rdd = df.toJSON.rdd  
  
6.DataFrame -> Dataset  
val ds = df.toJSON

转载于http://www.cnblogs.com/ciade/

发表评论取消回复

表情：

评论列表（有 0 条评论，187人围观）

还没有评论，来说两句吧...

相关阅读

相关 java 时间和字符串互转、json字符串和对象互转

在开发过程中java基础老是记不住，写篇文章记录下............ java： 1.时间格式与字符串转换 1.1 时间格式------->字符串

素颜马尾好姑娘i/ 2023年10月18日 16:24/ 0 赞/ 151 阅读

相关 list和数组互转

数组转list String\[\] arrays = new String\[\]\{"a", "b", "c"\}; List<String> li

以你之姓@/ 2023年06月05日 05:51/ 0 赞/ 17 阅读

相关 dataframe 转字典

背景：将商品id以及商品类别作为字典的键值映射，生成字典，原为DataFrame 创建一个DataFrame 列值类型均为int型 import

短命女/ 2022年12月23日 04:00/ 0 赞/ 137 阅读

相关 pandas的dataframe转spark的dataframe 互转

目录 pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe ------------

系统管理员/ 2022年11月19日 12:55/ 0 赞/ 230 阅读

相关 shp和geojson互转

> 使用qgis导出的geojson格式很标准！强烈推荐！qgis导出的geojson格式为xxx.geojson，使用时记得把后缀改为json，并把内容中的name属性

爱被打了一巴掌/ 2022年09月02日 04:25/ 0 赞/ 375 阅读

相关 List 和数组互转

List list = new ArrayList(); list.add("a"); list.add("b"); list.add("c");

Myth丶恋晨/ 2022年08月23日 14:59/ 0 赞/ 210 阅读

相关 DataFrame格式化和RDD/Dataset/DataFrame互转

1.如果是格式化成Json的話直接 val rdd = df.toJSON.rdd 2.如果要指定格式需要自定义函数如下: //格式化具体字段条目 def

喜欢ヅ旅行/ 2022年07月12日 02:50/ 0 赞/ 188 阅读

相关 DataFrame格式化和RDD/Dataset/DataFrame互转

1.如果是格式化成Json的話直接 val rdd = df.toJSON.rdd 2.如果要指定格式需要自定义函数如下: //格式化具体字段条目 def

╰半夏微凉°/ 2022年07月12日 02:50/ 0 赞/ 198 阅读

相关 numpy的ndarray与pandas的series和dataframe之间互转

在大数据分析中，比较常用的两个数据分析包就是numpy和pandas，而pandas正是基于numpy构建的含有更高级数据结构和工具的数据分析包，在金融领域应用更是广泛。在实际

谁借莪１个温暖的怀抱￠/ 2022年05月12日 09:00/ 0 赞/ 278 阅读

相关字符串和对象互转

json.stringfy()将对象、数组转换成字符串；json.parse()将字符串转成json对象。 json.stringfy(): 语法：　　JSON

待我称王封你为后i/ 2022年03月31日 03:51/ 0 赞/ 325 阅读