大数据基础面试题七：Flink

不念不忘少年蓝@ 2022-11-06 03:58 110阅读 0赞

# 大数据基础面试题七：Flink #

### 目录 ###

*  大数据基础面试题七：Flink
 *   *  十四、Flink
     *  14.1 简单介绍一下 Flink
     *  14.2 Flink跟Spark Streaming的区别
     *  14.3 Flink集群有哪些角色？各自有什么作用？
     *  14.4 公司怎么提交的实时任务，有多少Job Manager？
     *  14.5 Flink的并行度了解吗？Flink的并行度设置是怎样的？
     *  14.6 Flink的Checkpoint 存在哪里
     *  14.7 Flink的三种时间语义
     *  14.8 说说Flink中的窗口
     *  14.9 Exactly-Once的保证
     *  14.10 说一下Flink状态机制
     *  14.11 Flink 中的Watermark机制
     *  14.12 Flink分布式快照的原理是什么
     *  14.13 介绍一下Flink的CEP机制
     *  14.14 Flink CEP 编程中当状态没有到达的时候会将数据保存在哪里？

## 十四、Flink ##

## 14.1 简单介绍一下 Flink ##

Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：

*  **DataSet AP**I， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。
 *  **DataStream API**，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户可以方便地对分布式数据流进行各种操作，支持Java和Scala。
 *  **Table API**，对结构化数据进行查询操作，将结构化数据抽象成关系表，并通过类SQL的DSL对关系表进行各种查询操作，支持Java和Scala。
 *  此外，Flink 还针对特定的应用领域提供了领域库，例如： Flink ML，Flink 的机器学习库，提供了机器学习Pipelines API并实现了多种机器学习算法。 Gelly，Flink 的图计算库，提供了图计算的相关API及多种图计算算法实现。

## 14.2 Flink跟Spark Streaming的区别 ##

这个问题是一个非常宏观的问题，因为两个框架的不同点非常之多。但是在面试时有非常重要的一点一定要回答出来：`Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型`。

下面我们就分几个方面介绍两个框架的主要区别：

1.  架构模型Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager和Slot。
2.  任务调度Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，Spark Streaming 会依次创建 DStreamGraph、JobGenerator、JobScheduler。Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。
3.  时间机制Spark Streaming 支持的时间机制有限，只支持处理时间。 Flink 支持了流处理程序在时间上的三个定义：处理时间、事件时间、注入时间。同时也支持 watermark 机制来处理滞后数据。
4.  容错机制对于 Spark Streaming 任务，我们可以设置 checkpoint，然后假如发生故障并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可能会重复处理，不能做到恰好一次处理语义。Flink 则使用两阶段提交协议来解决这个问题。

## 14.3 Flink集群有哪些角色？各自有什么作用？ ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

Flink程序在运行时主要有TaskManager，JobManager，Client三种角色。

*  **JobManager**扮演着集群中的管理者Master的角色，它是整个集群的协调者，负责接收Flink Job，协调检查点，Failover 故障恢复等，同时管理Flink集群中从节点TaskManager。
 *  **TaskManager**是实际负责执行计算的Worker，在其上执行Flink Job的一组Task，每个TaskManager负责管理其所在节点上的资源信息，如内存、磁盘、网络，在启动的时候将资源的状态向JobManager汇报。
 *  **Client**是Flink程序提交的客户端，当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。

## 14.4 公司怎么提交的实时任务，有多少Job Manager？ ##

1.  我们使用yarn session模式提交任务；另一种方式是每次提交都会创建一个新的Flink 集群，为每一个job提供资源，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下：

bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.*.* -nm *-* -d

其中申请7个 taskManager，每个 8 核，每个 taskmanager 有 32768M 内存。

1.  集群默认只有一个 Job Manager。但为了防止单点故障，我们配置了高可用。对于standlone模式，我们公司一般配置一个主 Job Manager，两个备用 Job Manager，然后结合 ZooKeeper 的使用，来达到高可用；对于yarn模式，yarn在Job Mananger故障会自动进行重启，所以只需要一个，我们配置的最大重启次数是10次。

## 14.5 Flink的并行度了解吗？Flink的并行度设置是怎样的？ ##

Flink中的任务被分为多个并行任务来执行，其中每个并行的实例处理一部分数据。这些`并行实例的数量被称为并行度`。我们在实际生产环境中可以从四个不同层面设置并行度：

*  操作算子层面(Operator Level)
 *  执行环境层面(Execution Environment Level)
 *  客户端层面(Client Level)
 *  系统层面(System Level)  
    需要注意的优先级：算子层面>环境层面>客户端层面>系统层面。

## 14.6 Flink的Checkpoint 存在哪里 ##

可以是内存，文件系统，或者 RocksDB。

## 14.7 Flink的三种时间语义 ##

*  Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。
 *  Ingestion Time：是数据进入Flink的时间。
 *  Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。

## 14.8 说说Flink中的窗口 ##

来一张官网经典的图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

Flink 支持两种划分窗口的方式，`按照time和count`。如果`根据时间`划分窗口，那么它就是一个`time-window`如果`根据数据`划分窗口，那么它就是一个`count-window`。flink支持窗口的两个重要属性（size和interval）如果`size=interval`,那么就会形成`tumbling-window(无重叠数据)` 如果`size>interval,`那么就会形成`sliding-window(有重叠数据)`如果size< interval, 那么这种窗口将会丢失数据。比如每5秒钟，统计过去3秒的通过路口汽车的数据，将会漏掉2秒钟的数据。通过组合可以得出四种基本窗口：

*  time-tumbling-window 无重叠数据的时间窗口，设置方式举例：timeWindow(Time.seconds(5))
 *  time-sliding-window有重叠数据的时间窗口，设置方式举例：timeWindow(Time.seconds(5), Time.seconds(3))
 *  count-tumbling-window无重叠数据的数量窗口，设置方式举例：countWindow(5)
 *  count-sliding-window 有重叠数据的数量窗口，设置方式举例：countWindow(5,3)

## 14.9 Exactly-Once的保证 ##

下级存储支持事务：Flink可以通过实现两阶段提交和状态保存来实现端到端的一致性语义。 分为以下几个步骤：

1.  开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面
2.  预提交（preCommit）将内存中缓存的数据写入文件并关闭
3.  正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟
4.  丢弃（abort）丢弃临时文件
5.  若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。

下级存储不支持事务：  
具体实现是`幂等写入`，需要下级存储具有幂等性写入特性。

## 14.10 说一下Flink状态机制 ##

Flink在做计算的过程中经常需要存储中间状态，来避免数据丢失和状态恢复。选择的状态存储策略不同，会影响状态持久化如何和 checkpoint 交互。

Flink提供了三种状态存储方式：`MemoryStateBackend、FsStateBackend、RocksDBStateBackend`。

## 14.11 Flink 中的Watermark机制 ##

`Watermark 是一种衡量 Event Time 进展的机制`，可以设定延迟触发  
Watermark 是用于`处理乱序事件`的，而正确的处理乱序事件，通常用Watermark 机制`结合 window`来实现；  
数据流中的 Watermark 用于表示`timestamp 小于 Watermark 的数据`，都已经到达了，因此，window 的执行也是由 Watermark 触发的。

## 14.12 Flink分布式快照的原理是什么 ##

Flink的容错机制的核心部分是制作分布式数据流和操作算子状态的一致性快照。 这些快照充当一致性checkpoint，系统可以在发生故障时回滚。 Flink用于制作这些快照的机制在“分布式数据流的轻量级异步快照”中进行了描述。 它受到分布式快照的标准Chandy-Lamport算法的启发，专门针对Flink的执行模型而定制。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]

barriers在数据流源处被注入并行数据流中。快照n的barriers被插入的位置（我们称之为Sn）是快照所包含的数据在数据源中最大位置。

例如，在Apache Kafka中，此位置将是分区中最后一条记录的偏移量。 将该位置Sn报告给checkpoint协调器（Flink的JobManager）。  
然后barriers向下游流动。当一个中间操作算子从其所有输入流中收到快照n的barriers时，它会为快照n发出barriers进入其所有输出流中。  
一旦sink操作算子（流式DAG的末端）从其所有输入流接收到barriers n，它就向checkpoint协调器确认快照n完成。  
在所有sink确认快照后，意味快照着已完成。一旦完成快照n，job将永远不再向数据源请求Sn之前的记录，因为此时这些记录（及其后续记录）将已经通过整个数据流拓扑，也即是已经被处理结束。

## 14.13 介绍一下Flink的CEP机制 ##

CEP全称为`Complex Event Processing，复杂事件处理`  
Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库  
CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分  
一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据 —— 满足规则的复杂事件

## 14.14 Flink CEP 编程中当状态没有到达的时候会将数据保存在哪里？ ##

在流式处理中，CEP 当然是要支持 EventTime 的，那么相对应的也要支持数据的迟到现象，也就是watermark的处理逻辑。CEP对未匹配成功的事件序列的处理，和迟到数据是类似的。在 Flink CEP的处理逻辑中，状态没有满足的和迟到的数据，都会存储在一个Map数据结构中，也就是说，如果我们限定判断事件序列的时长为5分钟，那么内存中就会存储5分钟的数据，这在我看来，也是对内存的极大损伤之一。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221023/2f09adf124d6453e9e7abf305e8d8093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221023/1b0e7f4b501943a0accf242a87ad84ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]: /images/20221023/f0faeb9205784ba98111c4a70a3c271f.png