spark学习3：RDD运行原理

╰+哭是因爲堅強的太久メ 2023-01-20 02:59 16阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70][]

# 1.RDD设计背景 #

为了解决 MapReduce的 频繁磁盘IO开销，序列化和反序列化的开销，

因为从磁盘读取数据转换为对象 需要反序列化， 在对象落磁盘时候 需要序列化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 2][]

spark通过抽象的RDD对象和DAG图，对数据读取流转进行优化， 最优方案实现流水线开发。

# 2.RDD概念 #

## 1.RDD本质是一个 抽象的分布式集合 ##

RDD逻辑上是一个数据集合，其数据是被分区后 分布式存储在各个机器上

## 2.高度受限的共享内存模型 ##

即 每次生成的RDD是不能修改的，但是可以对老RDD进行转换 生成新RDD，来实现对RDD转换。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 3][]

## 3.RDD操作类型主要分为两种： action  和 transformation ##

transformation： 只是记录转换的动作，并不会立马去执行， 具有懒惰性

action： 是行动动作，会立马触发 转换操作。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 5][]

## 4.RDD的粗粒度性 ##

RDD支持粗粒度修改，只能一次对RDD全集进行转换

RDD 只能对全局数据进行修改，不能像 关系型数据库一样，精确的对某个特定的值进行修改

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 6][]

## 5.高效的容错性 ##

通过DAG 找到丢失的RDD的父类，来重新拉取/生成 已经丢失的RDD

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 7][]

## 6.流水线优化 ##

把中间结果写入内存，减少磁盘io ，以及序列化和反序列化

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 10][]

# 3.DAG schedule 如何划分stage 阶段 （作业）的 #

DAG schedule 划分的主要依据是 各个RDD之间的依赖关系，  有两种依赖关系：宽依赖和窄依赖

如果是宽依赖 那就切分stage

如果是窄依赖 不切分

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 11][]

## 什么是宽依赖 和 窄依赖： ##

RDD之间是 宽依赖 或 窄依赖 主要看  两个RDD之间 有没有shuffle  即洗牌操作

如果从父RDD 到子RDD的时候 ，发生了 shuffle ，那么这两个 RDD就是 宽依赖， 那就会被DAG schedule 切分为两个 stage 阶段/作业

如果 父RDD 到子RDD的时候，没发生shuffle  ，那么是窄依赖， 不会切分 stage

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 12][]

## 什么是 shuffle 操作： ##

shuffle 中文意思是 洗牌，

那么对数据进行 打散重新分配，这个过程其实就是shuffle

如下图，文件中的数据， 传给了 3台 map节点，那么这3台蓝色的 map节点 处理完数据后，  要把数据传给  黄色的3台 reduce 节点，

关键点 就在这 3台蓝色的map节点是怎么 传给 黄色 3台reduce 节点的，

其实是 把map节点 所有数据进行 盘点洗牌，找到 （a, 1） 元素发给  reduce1节点，找到 （b, 1） 元素发给  reduce2节点.....

这个就是洗牌，对数据进行重新清洗，找到 特定元素 发给特定 节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 13][]

shuffle 是需要大量的 节点之间的 网络IO开销的，并且shuffle一定会落磁盘。

## 什么是窄依赖: ##

有2种情况：

### 1、一个父RDD 对应一个子RDD ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 14][]

### 2、两个或多个 父RDD 对应一个子RDD ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 16][]

## 什么是宽依赖 ##

一个父RDD 对应多个 子RDD

因为如果 一个父RDD 对应多个 子RDD ，那么父RDD 会进行洗牌操作，找到特定的元素 发给特定的 某个子节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 18][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 19][]

# 4.DAG schedule 为什么要划分stage 阶段 （作业） #

DAG schedule  根据RDD之间的宽窄依赖关系，划分stage ，其实是为了提高数据处理的效率，为了实现流水线优化。

简单点说 spark只能对 窄依赖进行优化，  宽依赖没法优化，所以要把宽窄依赖分开。

## 先来看下spark的流水线优化 的基本原理 ##

首先，在并行处理有2个基本的操作，fork 和 join ，  fork 是分发   ，join是汇集

spark的流水线优化 其实就是对 不必要的join的 优化，减少不必要join，因为 join就可能有时间的等待

比如说，要实现把 北京一个学校的学生 送到厦门，根据宽窄依赖不同 可以有2种方案

### 第一种，窄依赖情况， ###

如下图，  分别由班长带男生 和 组织委员带女生 ，分别乘坐飞机（并行处理），先飞往上海 集合后，再由班长带领男生 、组织委员带女生 ，从上海飞往厦门。

那么在这个过程中 由于要在上海集合， 所以班长带的男生 到达上海后 ，需要等待1小时的  女生，

然后，两班人马 从上海出发 到厦门后，又要 集合，所以 女生要等 男生1小时，

所以，全程用了 6小时。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 20][]

在上边的例子中，班长带男生到上海后，等女生 1小时，其实是可以优化掉的，   班长可以直接从北京到厦门，组织委员也是

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 21][]

这个就是 DAG的流水线优化最基本原理

### 第二种，宽依赖的情况： ###

班长在带领 男生到上海后，需要带领 1班的学生去厦门，  而组织委员在带领女生到上海后，需要带领 2班学生去厦门

那么在 上海这个环节 就需要把同学重新分配，组织委员带领的1班女生要到 班长那边去 ，班长带的2班男生要到 组织委员那边去，

就有重新洗牌的操作了，就有shuffle，

而且班长提前到达 上海后，必须等组织委员和女生都到达以后 才能出发， 这也就是 宽依赖不能优化的原因。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 22][]

宽依赖一定会落磁盘

如下图，A -> B 就是一个宽依赖， 所以A这部分 ，就切分为 一个stage

然后 C -> D -> F都是窄依赖 ， F -> G 是宽依赖 ，所以 C D F是一个stage

最后 G汇总又是一个stage

一共3个stage

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 23][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70]: /images/20221021/daef2ac39e9e4562a356606803ea8666.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210511102840949.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 2]: /images/20221021/90f3a75d66344193baf1896d86b0cf29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 3]: /images/20221021/a83faf7c279b4697906124aacb7c3080.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 4]: /images/20221021/42f820224f6648e58e4ead57cc3f32ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 5]: /images/20221021/f0b3d06320544650a105e8003ab3c51c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 6]: /images/20221021/1cbf9284933a4b64a7e57a5b7bcddb96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 7]: /images/20221021/019e3ca4a8e942ef8d1cafb884144233.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 8]: /images/20221021/7a999e10d69e4c6e84d6fc6bbab7010e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 9]: /images/20221021/a371308670a94faf8e5b43fb4aeacc2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 10]: /images/20221021/1bef772b6ca8480d83e74d18dd9b6efd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 11]: /images/20221021/80aa535deaba4b5f97993654f007c22a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 12]: /images/20221021/1bcad4f5a1714e138782c6595ec756ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 13]: /images/20221021/2f5375c944ee40b080e73e7ba05de90b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 14]: /images/20221021/03ef801086d34158a6d037c0c56c78a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 15]: /images/20221021/465fca7d04974499af6172b338873b8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 16]: /images/20221021/3c13ede0170c41b89e2e18dbf07c413d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 17]: /images/20221021/199e89f01e0c4b87b67e7bda15665f5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 18]: /images/20221021/9b4fa3688f4c4e788e4207406d067153.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 19]: /images/20221021/996ef3b4c90844f487611fc778268458.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 20]: /images/20221021/ace5c6612efc46f5b6469bef71aa6027.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 21]: /images/20221021/758016cf389d42ed9bb4fc1367d2a5eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 22]: /images/20221021/2ebe0b30804b48e8aa462395a3eda41c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70 23]: /images/20221021/d6f2f094ac4d4c6790de9cffdf268707.png