大数据（二）flink 1 概念介绍

曾经终败给现在 2023-02-11 03:18 5阅读 0赞

# Flink介绍： #

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

2015年升级为Apache的顶级项目，然后突然爆发，之后被阿里收购。

基本上国内说得出名字的大厂都在用flink。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70][]

# **Flink特点：** #

**1，事件驱动：**

**     根据数据的到来触发一系列的计算，输出等。**

**2，流处理和批处理**

**     批处理的特点就是 有界，持久，量大，非常适合做离线计算**

**     流处理的特点就是 无界，实时，无需针对整个数据集执行操作，而是对传输过来的**

**每个数据项执行操作，一般用户实时计算**

**无界数据流**：**无界数据流有一个开始但是没有结束**，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。

**有界数据流**：**有界数据流有明确定义的开始和结束**，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。

# Flink分层api #

![20200521150910149.png][]

分别是ProcessFunction，DataStream Api，SQL/Table Api，

最底层的是**ProcessFunction**,功能最强大，但也最复杂。

一般我们操作的都是DataStream这一层来处理数据，实在不行就嵌入ProcessFunction层。

**DataStream Api**提供了很多模块因子，比如由用户定义的多种形式的转换（transformations），连接（joins），聚合（aggregations），窗口操作（windows）

**Table API** 是以表为中心的声明式编程，其中表可能会动态变化（在表达流数据时）

像阿里Flink的分支 blink 就是往这方面发展，Blink比起Flink的优势就是对SQL语法的更完善的支持以及执行SQL的性能提升。

未来以后可能大量的开发就落在**Table API** 这层咯。

# 支持exactly-once语义 #

这个特性就是确保一条数据，收并且只能收到一次。这个就能保证结果的准确性。

# Flink架构组成 #

Flink其实跟flume差不多，主要是是3部分，flume是 source -> channal -> sink

flink 也是 source -> operator -> sick

flink通过source 接受数据，source 可以是配多种多样，不过生成上大部分都是用kafka.

因为前面说了，flink是事件驱动型，当source监听kafka的数据后，会向flink的jobManager

提交job,jobManage会根据job等资源优化后就会分配Taskmanager,Taskmanager是真正计算的地方，它会通过一系列的

计算因子，最后将结果返回给jobManage，再返回给flink客户端。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70 1][]

## Worker与Slots ##

**每一个worker(TaskManager)****是一个JVM****进程，它可能会在独立的线程上执行一个或多个subtask**。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。·

每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。**资源****slot****化意味着一个subtask****将不需要跟来自其他job****的subtask****竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备**。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的受管理的内存。

**通过调整task slot****的数量，允许用户定义subtask****之间如何互相隔离**。如果一个TaskManager一个slot，那将意味着每个task group运行在独立的JVM中（该JVM可能是通过一个特定的容器启动的），而一个TaskManager多个slot意味着更多的subtask可以共享同一个JVM。而在同一个JVM进程中的task将共享TCP连接（基于多路复用）和心跳消息。它们也可能共享数据集和数据结构，因此这减少了每个task的负载。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70 2][]

图 TaskManager与Slot

**Task Slot****是静态的概念，是指TaskManager****具有的并发执行能力**，可以通过参数taskmanager.numberOfTaskSlots进行配置，而**并行度****parallelism****是动态概念，即TaskManager****运行程序时实际使用的并发能力**，可以通过参数parallelism.default进行配置。

也就是说，假设一共有3个TaskManager，每一个TaskManager中的分配3个TaskSlot，也就是每个TaskManager可以接收3个task，一共9个TaskSlot，如果我们设置parallelism.default=1，即运行程序默认的并行度为1，9个TaskSlot只用了1个，有8个空闲，因此，设置合适的并行度才能提高效率

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200521144807418.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE=,size_16,color_FFFFFF,t_70
[20200521150910149.png]: https://img-blog.csdnimg.cn/20200521150910149.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200521153832624.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200521153928207.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE=,size_16,color_FFFFFF,t_70