【API篇】九、Flink的水位线

痛定思痛。 2024-02-21 11:54 22阅读 0赞

#### 文章目录 ####

*  1、Flink时间语义
 *  2、事件时间和窗口
 *  3、水位线
 *  4、水位线和窗口的工作原理

## 1、Flink时间语义 ##

*  **事件时间**
 *  **处理时间**

举个例子就是，一条数据在23:59:59产生，在00:00:01被处理，前者为事件时间，后者为处理时间。

![在这里插入图片描述][76e8cfd9f5ab455083ade7bd2c0df1cc.png]

从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义了。

## 2、事件时间和窗口 ##

逻辑上的时钟，不会像生活中的时钟，时间会自动流逝。08:59:59的数据到了，逻辑时钟才认为时间到了08:59:59，没有数据来，逻辑时钟就不会推进

![在这里插入图片描述][32853b7a441c449fbf748c14b1a6b26d.png]

## 3、水位线 ##

关于水位线的理解：

*  是一条数据
 *  是插入到数据流中的一个标记点，是真实存储的数据
 *  内容是一个时间戳，指示了**当前的事件时间**

> **有序流中的水位线：**

理想状态下，数据量小，且按生成的先后顺序进入流中，此时，可以给每个数据都产生一个水位线：

![在这里插入图片描述][9f5c29e15337452e82229b5d5a5cab58.png]

实际环境下，数据流巨大，且数据涌来的时差极小，此时可每隔一段时间来生成一个水位线：

![在这里插入图片描述][a3234f4ba859448c84e6226b4edfb116.png]

> **乱序流中的水位线：**

分布式系统下，数据在各个节点之间传输，会因网络延迟等问题而发生顺序改变，产生数据的乱序，如下示意图：

![在这里插入图片描述][625c12d6aecd4d5699db366703e46895.png]

当**乱序+数据量小**时，可以每来一个数据，先判断其时间戳（水位线）是否比前面数据大，否则就不生成新的水位线。此时，就可以依旧靠数据来推动逻辑时钟前进。

![在这里插入图片描述][689322a60e1245fe89b7e885c4123dbc.png]

当**乱序+数据流大**时，可周期性生成水位线，一定长度时间的数据里，最大的时间戳做为水位线：

![在这里插入图片描述][1f4d10cd438e464b8ee7e4980e444a93.png]

按照以上的逻辑，会有窗口下的迟到数据，如图中深灰色的数据。有个0-10秒的窗口，乱序数据下，有个10s的数据先到了，如果按正常逻辑，水位线就会被推进到10s的时刻，10s > 10s-1ms ，此时就会触发窗口关闭和输出，但这个输出可能还有迟到的数据未统计到。

![在这里插入图片描述][985c2b0318594187a9227b94b5504513.png]

针对迟到数据，可以等待一段时间（加延迟），比如2s，即用当前已有数据的最大时间戳减去2秒，当作插入的水位线时间戳，如此，可防止丢数据。

![在这里插入图片描述][164aad03b26d43c8be9a735d82b8eb78.png]  
**总结：**

*  水位线是插入到数据流中的一个标记，可以认为是一个特殊的数据
 *  水位线主要的内容是一个时间戳，用来表示当前事件时间的进展
 *  水位线是基于数据的时间戳生成的
 *  水位线的时间戳必须单调递增，以确保任务的事件时间时钟一直向前推进
 *  水位线可以通过设置延迟，来保证正确处理乱序数据个
 *  水位线Watermark(t)，表示在当前流中事件时间已经达到了时间戳t，这代表t之前的所有数据都到齐了，之后流中不会出现时间截t’< = t 的数据

## 4、水位线和窗口的工作原理 ##

窗口可理解成一个桶，但这个装水的桶不是反复用的，不是说接完水后倒掉继续接下一桶，这是错误理解。如果按照这样理解，加了延迟时间后，岂不是会把后面桶里的数据给误倒掉。实际底层不是这样的，加了延迟时间以后，只是对前一个桶触发计算和关闭的时间延后了。像图中的11和12这两条数据（橙色），该是第二个桶的还是会去第二个桶，每个窗口都是一个个独立的桶，每个数据都会分发到对应的桶中，当到达窗口结束时间时，对每个桶中收集的数据进行计算处理。

![在这里插入图片描述][7f78e14d0fee4a638601d6a33f17a75c.png]

往后继续也是一样：

![在这里插入图片描述][43472ec8a96647f39fafe6711a65a3df.png]

> Flink中窗口并不是静态准备好的，而是动态创建——当有落在这个窗口区间范围的数据达到时，才创建对应的窗口

另外，这里我们认为到达窗口结束时间时，窗口就触发计算并关闭，事实上“触发计算”和“窗口关闭”两个行为也可以分开。

[76e8cfd9f5ab455083ade7bd2c0df1cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/99d4c39424de4e16aeed64dc9c495eb7.png
[32853b7a441c449fbf748c14b1a6b26d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/eb84f14b9381440f8a1c3e767907f62d.png
[9f5c29e15337452e82229b5d5a5cab58.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/0b9dc9b8523e4ffca5a31459b6c43ecf.png
[a3234f4ba859448c84e6226b4edfb116.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/04a8ea4c702248f784af47c9326c64bf.png
[625c12d6aecd4d5699db366703e46895.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/382997f2484f440ea02fb1c839609719.png
[689322a60e1245fe89b7e885c4123dbc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/4fce836944684c949241e12c258022d1.png
[1f4d10cd438e464b8ee7e4980e444a93.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/9d4ef19c6997404396ef45ba9c87a9e0.png
[985c2b0318594187a9227b94b5504513.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/7a0043c63bf24b4eaa441c84de3aa835.png
[164aad03b26d43c8be9a735d82b8eb78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/916787b0881b4965baddfc75c0c24118.png
[7f78e14d0fee4a638601d6a33f17a75c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/98c7b46576614d969610efeac328bd78.png
[43472ec8a96647f39fafe6711a65a3df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/41db660a955f40c7933188f4e0463bb4.png