经验 - spark代码执行过程（Driver , Execute）

约定不等于承诺〃 2022-03-16 03:46 530阅读 0赞

我们自己编写了spark代码后;放到集群中一执行，就会出现问题，没有序列化、指定的配置文件不存在、classnotfound等等。这其实很多时候就是因为我们对自己编写的spark代码执行流程的不熟悉导致的，源码阅读可以解决，但源码不是每个人都能看懂或能看进去的，下面我们就来讲一下，我们自己写的spark代码究竟是这么执行的。从执行的过程可分为三个部分来分析main方法，RDD处理方法，DStream处理方法，从执行的JVM虚拟机可以分为两个部分driver端，worker端

> ### **一、main方法** ###

**main方法就是在driver端执行的，当然这里是把RDD计算的Action剔除的情况**，先看一段代码

![1099612-20170905155314976-1786729097.png][]

**1、driver端**

**除了rdd算子中的代码其他都是在driver端执行，并且只执行一次**

**2、worker端**

**DSUtil.dSopt()这里的带就是处理DSTream的，其中有一部分代码是driver一部分是Worker的，这里姑且认为是在worker端**

> ### **二、DStream处理方法** ###

在sparkStreaming中spark引入了DStream，实际上就是RDD的map集合（不是很精确），在处理的时候代码是：

![1099612-20170905155843944-337036395.png][]

**1、driver端**

除了Dstram计算中的代码其他都是在driver端并且只执行一次。

这里需要注意的是DStream的action方法（闭包）中的代码也不是全在worker端执行，只有在处理rdd时才会在Worker端执行，其他是在driver端执行的；

与DStream的算子方法外的代码区别是，这里是计算一次执行一次。

**2、worker端**

rdd的Action操作（闭包）中的代码都是在Worker端执行的

> ### **三、RDD处理方法** ###

最后我们来看看RDD算子闭包在执行时代码如何执行

![1099612-20170905160614147-257673998.png][]

**1、driver端**

挡在调用count方法处理rdd时，与rdd算子无关的代码都是计算一次执行一次

**2、worker端**

rdd的算子闭包是在driver端中执行的

> ### **四、总结** ###

**　根据spark中job的生成过程，来看代码执行就一目了然了，spark中job的生成是在driver端，这里只是生成了一个模板，并不会在driver端执行，spark会把这个模板及与模板相关的对象一起发送到worker端（这就是移动计算不移动数据，与storm的区别），Worker有了数据和模板就可以计算了，Worker会从Action算子开始向上逆推在计算，这样就有了Rdd算子代码在worker端执行；**

但是这里ForeachRDD，transformRDD中的代码怎么又在driver端执行了？

这是因为spark一开始生成的是一个静态模板在spark每个batch执行计算式，会用这个静态的模板动态生成以DAG，所以就有了DStream中的算子代码在driver中执行

consult :

[https://www.cnblogs.com/irich/p/7479164.html][https_www.cnblogs.com_irich_p_7479164.html]

[https://github.com/lw-lin/CoolplaySpark/blob/master/Spark%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97/0.1%20Spark%20Streaming%20%E5%AE%9E%E7%8E%B0%E6%80%9D%E8%B7%AF%E4%B8%8E%E6%A8%A1%E5%9D%97%E6%A6%82%E8%BF%B0.md][https_github.com_lw-lin_CoolplaySpark_blob_master_Spark_20Streaming_20_E6_BA_90_E7_A0_81_E8_A7_A3_E6_9E_90_E7_B3_BB_E5_88_97_0.1_20Spark_20Streaming_20_E5_AE_9E_E7_8E_B0_E6_80_9D_E8_B7_AF_E4_B8_8E_E6_A8_A1_E5_9D_97_E6_A6_82_E8_BF_B0.md]

[1099612-20170905155314976-1786729097.png]: /images/20220316/ccc60763fcc04cb5a118deb9bfe0b66f.png
[1099612-20170905155843944-337036395.png]: /images/20220316/717c540ba476400ea8e0f12a422d438c.png
[1099612-20170905160614147-257673998.png]: /images/20220316/13f0308f5ce84215ab50a88ca4dfcec4.png
[https_www.cnblogs.com_irich_p_7479164.html]: https://www.cnblogs.com/irich/p/7479164.html
[https_github.com_lw-lin_CoolplaySpark_blob_master_Spark_20Streaming_20_E6_BA_90_E7_A0_81_E8_A7_A3_E6_9E_90_E7_B3_BB_E5_88_97_0.1_20Spark_20Streaming_20_E5_AE_9E_E7_8E_B0_E6_80_9D_E8_B7_AF_E4_B8_8E_E6_A8_A1_E5_9D_97_E6_A6_82_E8_BF_B0.md]: https://github.com/lw-lin/CoolplaySpark/blob/master/Spark%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97/0.1%20Spark%20Streaming%20%E5%AE%9E%E7%8E%B0%E6%80%9D%E8%B7%AF%E4%B8%8E%E6%A8%A1%E5%9D%97%E6%A6%82%E8%BF%B0.md