Spark Core RDD

ゞ浴缸里的玫瑰 2023-09-29 18:40 1阅读 0赞

## 1. 什么是 RDD ##

源码：`https://github.com/apache/spark`

`A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,partitioned collection of elements that can be operated on in parallel.`

`RDD` 是一个弹性的分布式数据集，是 `spark` 的基本抽象，是不可变的，且由多个 `partition` （可理解为分区）构成（可能分布在多条机器上，可以存在内存或磁盘中），可以进行并行操作。

**名词解释**

*  弹性：分布式计算时可容错，即一个节点挂了另一个会起来
 *  不可变：一旦产生就不能被改变

[RDD 源码位置][RDD]

## 2. RDD 特性 ##

单机存储/计算 ====> 分布式（集群）/计算，分布式：考虑的是数据的切割、计算、存储

*  数据存储：切割 `HDFS` 的 `Block`
 *  数据计算，切割（分布式并行计算）`MapReduce/Spark`
 *  存储+计算：`HDFS/S3+MapReduce/Spark`

**RDD 特性**

*  `A list of partitions`：`RDD` 由很多 `partitions` 构成，在 `spark` 中，计算时有多少 `partition` 就对应有多少个 `task` 来执行
 *  `A function for computing each split`：对 `RDD` 做计算，相当于对 `RDD` 的每个 `split` 或 `partition` 做计算
 *  `A list of dependencies on other RDDS`：`RDD` 之间有依赖关系、血缘关系，可溯源
 *  `Optionally, a Partitions for key-value RDDs （e.g. to say that the RDD is hash-partitions）`：若 `RDD` 里面存的数据是 `key-value` 形式，则可以传递一个自定义的 `Partition` 进行重新分区，如可以按 `key` 的 `hash` 值重新分区
 *  `Optionally，a list of preferred locations to compute each split on （e.g. block locations for an HDFS file）`：最优的位置去计算，即数据的本地性（移动数据不如移动计算，移动数据代价太大）

[RDD]: https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Core RDD

1. 什么是 RDD 源码：`https://github.com/apache/spark` `A Resilient Distributed Dataset (RD

ゞ浴缸里的玫瑰/ 2023年09月29日 18:40/ 0 赞/ 2 阅读

相关 Spark-Core RDD转换算子-Value型

1、 map(func) 作用: 返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值而组成. 就是对 RDD 中的数据做转换. 创建一个包

痛定思痛。/ 2023年06月22日 10:25/ 0 赞/ 21 阅读

相关 Spark-Core RDD的创建

一、RDD创建的3种方式：　　1、从集合中创建RDD 　　2、从外部存储创建RDD 　　3、从其他RDD转换得到新的RDD 二、从集合中创建RDD 　　1、

墨蓝/ 2023年06月21日 15:29/ 0 赞/ 14 阅读

相关 Spark Core入门2【RDD的实质与RDD编程API】

一、对RDD操作的本质 RDD的本质是一个函数,而RDD的变换不过是函数的嵌套.RDD有两类: 1. 输入的RDD: 典型如KafkaRDD、JDBCRDD 2.

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 00:38/ 0 赞/ 171 阅读

相关 Spark/RDD

每一个Spark应用(Job),都是由一个驱动程序(Driver)构成，它运行用户的main函数。 RDD，是一个元素集合，划分到集群的各个节点上，可以被并行操作。

迈不过友情╰/ 2022年08月08日 06:11/ 0 赞/ 223 阅读

相关 Spark RDD

转载：http://www.infoq.com/cn/articles/spark-core-rdd/ 与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，

我不是女神ヾ/ 2022年06月14日 00:42/ 0 赞/ 244 阅读

相关 spark RDD

RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD

落日映苍穹つ/ 2022年06月03日 10:16/ 0 赞/ 307 阅读

相关 Spark-RDD

Resilient Distributed Dataset（RDD：弹性分布式数据集）概览：在较高的层次上，每个Spark应用程序都包含一个驱动程序，该程序运行

刺骨的言语ヽ痛彻心扉/ 2022年05月17日 06:50/ 0 赞/ 249 阅读

相关 Spark_RDD

前文： RDD算子一、基本操作(懒算子) 启动：sh spark-shell --master=local 1、不同输入集合 ![waterm

╰+哭是因爲堅強的太久メ/ 2021年12月19日 23:41/ 0 赞/ 357 阅读

相关 spark-core-> spark-sql: rdd转化为dataFrame

rdd.toDF val rdd1 = rdd.map(result => { val f1 = Bytes.toString(result.getV

一时失言乱红尘/ 2021年12月10日 16:25/ 0 赞/ 287 阅读