Flink：数据延迟产生的问题

分手后的思念是犯贱 2024-03-23 12:03 40阅读 0赞

### Time ###

在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：

![338555abb059405b939c08e26dad9097.png][]

**- EventTime\[事件时间\]**

事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间

如果以EventTime为基准来定义时间窗口那将形成EventTimeWindow,要求消息本身就应该携带EventTime

**- IngestionTime\[摄入时间\]**

数据进入Flink的时间，如某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据

如果以IngesingtTime为基准来定义时间窗口那将形成IngestingTimeWindow,以source的systemTime为准

**- ProcessingTime\[处理时间\]**

某个Flink节点执行某个operation的时间，例如：timeWindow处理数据时的系统时间，默认的时间属性就是Processing Time

如果以ProcessingTime基准来定义时间窗口那将形成ProcessingTimeWindow，以operator的systemTime为准

**在Flink的流式处理中，绝大部分的业务都会使用EventTime，一般只在EventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。**

如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：

**env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) //设置使用事件时间**

### 数据延迟产生的问题 ###

**l 示例1**

现在假设，你正在去往地下停车场的路上，并且打算用手机点一份外卖。

选好了外卖后，你就用在线支付功能付款了，这个时候是11点50分。恰好这时，你走进了地下停车库，而这里并没有手机信号。因此外卖的在线支付并没有立刻成功，而支付系统一直在Retry重试“支付”这个操作。

当你找到自己的车并且开出地下停车场的时候，已经是12点05分了。这个时候手机重新有了信号，手机上的支付数据成功发到了外卖在线支付系统，支付完成。

在上面这个场景中你可以看到，支付数据的事件时间是11点50分，而支付数据的处理时间是12点05分

一般在实际开发中会以事件时间作为计算标准

![a3c0a6a79dc2406e817648e6db7de6b2.png][]

**l 示例2**

一条日志进入Flink的时间为2019-08-12 10:00:01，摄入时间

到达Window的系统时间为2019-08-12 10:00:02，处理时间

日志的内容为：2019-08-12 09:58:02 INFO Fail over to rm2 ,事件时间

对于业务来说，要统计1h内的故障日志个数，哪个时间是最有意义的？---事件时间

EventTime，因为我们要根据日志的生成时间进行统计。

**l 示例3**

某 App 会记录用户的所有点击行为，并回传日志（在网络不好的情况下，先保存在本地，延后回传）。

A 用户在 11:02 对 App 进行操作，B 用户在 11:03 操作了 App，

但是 A 用户的网络不太稳定，回传日志延迟了，导致我们在服务端先接受到 B 用户 11:03 的消息，然后再接受到 A 用户 11:02 的消息，消息乱序了。

**l 示例4**

在实际环境中，经常会出现，因为网络原因，数据有可能会延迟一会才到达Flink实时处理系统。

我们先来设想一下下面这个场景:

![0815beab0b5c4be28e49655be244c104.png][]

1.  使用时间窗口来统计10分钟内的用户流量
2.  有一个时间窗口

\- 开始时间为：2017-03-19 10:00:00

\- 结束时间为：2017-03-19 10:10:00

3.有一个数据，因为网络延迟

\- 事件发生的时间为：2017-03-19 10:10:00

\- 但进入到窗口的时间为：2017-03-19 10:10:02，延迟了2秒中

4.时间窗口并没有将59这个数据计算进来，导致数据统计不正确

这种处理方式，根据消息进入到window时间，来进行计算。在网络有延迟的时候，会引起计算误差。

如何解决?---使用水印解决网络延迟问题

> https://blog.csdn.net/weixin\_45427648/article/details/130142620

[338555abb059405b939c08e26dad9097.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/e22bb2c69e414c5889f218865f3843ec.png
[a3c0a6a79dc2406e817648e6db7de6b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/2aede816ca34439dbce85a02f1933b5b.png
[0815beab0b5c4be28e49655be244c104.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/93cc4f431a98405aa3c923bcc8c73f3f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，40人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink：将Kafka中的数据作为Flink的数据源

启动kafka ./kafka-server-start.sh -daemon ../config/server.properties 创建topic

系统管理员/ 2024年03月23日 12:57/ 0 赞/ 78 阅读

相关 Flink：数据延迟产生的问题

Time 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： ![338555abb059405b939c08e26dad9097.png][] - Ev

分手后的思念是犯贱/ 2024年03月23日 12:03/ 0 赞/ 41 阅读

相关 Flink：解决数据延迟产生的问题-Watermark

Watermark案例步骤： 1、获取数据源 2、转化 3、声明水印（watermark） 4、分组聚合，调用window的操作 5、保存处理结果数据源：

偏执的太偏执、/ 2024年03月23日 12:00/ 0 赞/ 78 阅读

相关 Flink任务出现延迟排查步奏

1，先查看各个subtask是否有问题，是否出现反压。 2，对存在疑问的operate执行disableChain，强制把链路拆除。观察是否有反压和阻塞情况。 3，增加并行

桃扇骨/ 2022年12月30日 08:26/ 0 赞/ 97 阅读

相关 Flink任务延迟高，想解决这个问题，你会如何入手？

在Flink的后台任务管理中，我们可以看到Flink的哪个算子和task出现了反压。最主要的手段是资源调优和算子调优。资源调优即是对作业中的Operator的并发数（paral

港控/mmm°/ 2022年10月19日 12:59/ 0 赞/ 30 阅读

相关重复数据产生原因：分布式锁超时与主从延迟

原本的逻辑如下： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA5rex5bGx54y_size_2

Myth丶恋晨/ 2022年09月08日 12:57/ 0 赞/ 49 阅读

相关【Flink】FlinkPer-partition watermark 问题某个分区延迟导致数据丢失

文章目录 1.概述 2.我们的问题 3.解决 4.产生原因 M.参考 ![在这里插入图片描述][watermark_type_ZmF

旧城等待，/ 2022年08月31日 13:18/ 0 赞/ 158 阅读

相关减少mysql主从数据同步延迟问题的详解

基于局域网的master/slave机制在通常情况下已经可以满足'实时'备份的要求了。如果延迟比较大，就先确认以下几个因素： 1. 网络延迟 2. master负载

灰太狼/ 2022年08月21日 01:03/ 0 赞/ 177 阅读

相关【Flink】Flink对于迟到数据的处理

代码地址：[https://github.com/18113996630/flink-practice/blob/master/src/main/scala/com/hrong

╰+攻爆jí腚メ/ 2022年04月25日 10:38/ 0 赞/ 291 阅读

相关 PageHelper自动增加limit产生的数据查询问题

今天线上项目跑着跑着，老是查询不到正确的数据，后面对sql语句进行打印分析，发现有些时候mybatits就算使用了selectByPrimary也会自动给我加上 lim...

红太狼/ 2021年03月25日 15:26/ 0 赞/ 959 阅读