Flink-02-flink技术架构及工作原理

悠悠 2022-02-25 06:41 197阅读 0赞

### Flink组件栈 ###

![在这里插入图片描述][405877-20170118180702640-267981260.png]  
自下而上，分别针对每一层进行解释说明：

*  **Deployment**

该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN）、云（GCE/EC2）。

*  **Runtime层**

Runtime层提供了支持Flink计算的全部核心实现，比如：支持分布式Stream处理、JobGraph到ExecutionGraph的映射、调度等等，为上层API层提供基础服务。

*  **API层**

API层主要实现了面向无界Stream的流处理和面向Batch的批处理API，其中面向流处理对应DataStream API，面向批处理对应DataSet API。

*  **Libraries层**

该层也可以称为Flink应用框架层，根据API层的划分，在API层之上构建的满足特定应用的实现计算框架，也分别对应于面向流处理和面向批处理两类。面向流处理支持：CEP（复杂事件处理）、基于SQL-like的操作（基于Table的关系操作）；面向批处理支持：FlinkML（机器学习库）、Gelly（图处理）。

### Flink 基本工作原理 ###

![在这里插入图片描述][70]**用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化提交到JobManager，最后由TaskManager运行task。**

#### JobClient ####

JobClient是Flink程序和JobManager交互的桥梁，主要负责接收程序、解析程序的执行计划、优化程序的执行计划，然后提交执行计划到JobManager。为了了解Flink的解析过程，需要简单介绍一下Flink的Operator，在Flink主要有三类Operator：

*  Source Operator ：顾名思义这类操作一般是数据来源操作，比如文件、socket、kafka等，一般存在于程序的最开始
 *  Transformation Operator：这类操作主要负责数据转换，map，flatMap，reduce等算子都属于Transformation Operator，
 *  Sink Operator：意思是下沉操作，这类操作一般是数据落地，数据存储的过程，放在Job最后，比如数据落地到Hdfs、Mysql、Kafka等等。

#### JobManager ####

JobManager是一个进程，主要负责申请资源，协调以及控制整个job的执行过程，具体包括，调度任务、处理checkpoint、容错等等，在接收到JobClient提交的执行计划之后，针对收到的执行计划，继续解析，因为JobClient只是形成一个operaor层面的执行计划，所以JobManager继续解析执行计划（根据算子的并发度，划分task），形成一个可以被实际调度的由task组成的拓扑图，如上图被解析之后形成下图的执行计划，最后向集群申请资源，一旦资源就绪，就调度task到TaskManager。![在这里插入图片描述][70 1]

#### TaskManager ####

TaskManager是一个进程，及一个JVM（Flink用java实现）。主要作用是接收并执行JobManager发送的task，并且与JobManager通信，反馈任务状态信息，比如任务分执行中，执行完等状态，前面提到的checkpoint的部分信息也是TaskManager反馈给JobManager的。

[405877-20170118180702640-267981260.png]: /images/20220225/142bb65b71a74153aacded401dcde2d2.png
[70]: /images/20220225/fb6152c7193e4ebab2e2dd0d5fa98c2f.png
[70 1]: /images/20220225/01c5716cbfc847a0bddded5b57829208.png