Spark角色介绍、Driver Program、SparkContext、Cluster Manager、Worker Node、Executor、Task 04

川长思鸟来 2022-01-23 14:09 166阅读 0赞

# 前言 #

*  Spark是基于内存计算的大数据并行计算框架。
 *  因为其基于内存计算，比Hadoop中MapReduce计算框架具有更高的实时性，同时保证了高效容错性和可伸缩性。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]  
    **Spark架构使用了分布式计算中master-slave模型，master是集群中含有master进程的节点，slave是集群中含有worker进程的节点。**

1.  Driver Program：运行main函数并且新建SparkContext的程序。
2.  Application:基于Spark的应用程序，包含了driver程序和集群上的executor。
3.  Cluster Manager：指的是在集群上获取资源的外部服务。目前有三种类型  
    （1）Standalone：Spark原生的资源管理，由Master负责资源的分配  
    （2）Apache Mesos：与Hadoop mr兼容性良好的一种资源调度框架  
    （3）Hadoop Yarn：主要是指Yarn中的ResourceManager
4.  Worker Node：集群中任何可以运行Application代码的节点，在Standalone模式中指定的是通过slaves文件配置的Worker节点，在Spark on Yarn模式下就是NodeManager节点
5.  Executor：是一个Worker Node上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。每个应用都有各自独立的executor。
6.  Task：被送到某个executor上的工作单元。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20220123/8fa8b29368ca4d25915431b550186dc6.png