spark源码分析

喜欢ヅ旅行 2022-04-25 03:26 233阅读 0赞

*  rdd变换：  
    textfile（）加载文件：返回hadoopRDD（创建HadoopRDD之前，先将hadoopConfiguration进行广播）调用map方法，最终返回MapPartitionsRDD  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]  
    详细流程：[https://blog.csdn.net/weixin\_43093501/article/details/89492421][https_blog.csdn.net_weixin_43093501_article_details_89492421]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 1]
 *  rdd提交：
    
     *  sparkcontext运行作业
     *  调用有向无环图调度器的运行作业方法
     *  有向无环图提交作业到事件轮询对象中，将其封装成事件然后发送到轮询队列。
     *  有一个线程监控队列，将事件最终发送到有向无环图进行处理。
     *  具体内容为将stage递归提交，然后将task串行化广播到集群。
     *  任务调度器将任务集提交到后台调度器。
     *  后台调度器使用netty发送套接字到消息轮询对象中。
     *  有一个线程监控，将数据发送到执行器中，执行器执行任务。
     *  执行器中有线程池，创建线程运行task。
     *  首先反序列化，然后运行，运行task中的内容（resultmapTask/shuffleMapTask）,然后执行write（）方法  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 2]  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 3]  
        【DAGScheduler是高级调度器层】：按照stage对每个Job的各阶段计算有向无环图，跟踪rdd和每个stage的输出。找出最小调度，运行作业，将Stage对象以TaskSet方式交给底层调度器。底层调度器实现TaskScheduler，进而在集群上运行job。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 4]

【Task】：一般来说，一个 rdd 有多少个 partition，就会有多少个 task，因为每一个 task 只是处理一个 partition 上的数据。

【Stage】：task的集合，在shuffle的边界进行隔离（划分）。

*  ShuffleMapStage：产生输出数据，在每次shuffle之前发生。可共享
 *  ResultStage：用于执行action动作的最终stage

【job】:提交给调度的顶层的工作项,是Stage集合。

*  result job，计算ResultStage来执行action.
 *  map-state job,为shuffleMapState结算计算输出结果以供下游stage使用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70]: /images/20220210/48515bb472eb44ec9936cc1c87908695.png
[https_blog.csdn.net_weixin_43093501_article_details_89492421]: https://blog.csdn.net/weixin_43093501/article/details/89492421
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 1]: /images/20220210/6ffa564e23c541b99e2f41f386f91cca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 2]: /images/20220210/5d22002523de44f0b6f5e888af965b29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 3]: /images/20220210/888aadad94864757860cf6cf75fbc16b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA5MzUwMQ_size_16_color_FFFFFF_t_70 4]: /images/20220210/9e33e3a8c51f4118bc15e2e380e0b956.png