Flink有状态计算概述

拼搏现实的明天。 2021-11-05 11:48 303阅读 0赞

在Flink架构体系中，有状态计算可以说是Flink非常重要的特性之一。有状态计算是指在程序计算过程中，在Flink程序内部存储计算产生的中间结果，并提供给后续Function或算子计算结果使用。状态数据可以维系在本地存储中，这里的存储可以是Flink的堆内存或者堆外内存，也可以借助第三方的存储介质，例如Flink中已经实现的RocksDB，当然用户也可以自己实现相应的缓存系统去存储状态信息，以完成更加复杂的计算逻辑。

和状态计算不同的是，无状态计算不会存储计算过程中产生的结果，也不会将结果用于下一步计算过程中，程序只会在当前的计算流程中实行计算，计算完成就输出结果，然后下一条数据接入，然后再处理。

无状态计算实现的复杂度相对较低，实现起来比较容易，但是无法完成提到的比较复杂的业务场景，例如下面的例子：

![640?wx\_fmt=png][640_wx_fmt_png]

*  用户想实现CEP（复杂事件处理），获取符合某一特定事件规则的事件。

状态计算就可以将接入的事件进行存储，然后等待符合规则的事件触发:

*  用户想按照分钟，小时、天进行聚合计算，求取当前的最大值、均值等聚会指标，这就需要利用状态来维护当前计算过程中产生的结果，例如事件的总数，总和以及最大，最小值。

*  用户想在Strem上实现机器学习的模型训练，状态计算可以帮助用户维护当前版本模型使用的参数

*  用户想使用历史的数据进行计算，状态计算可以帮助用户对数据进行缓存，使用户可以直接从状态中获取相应的历史数据。

以上场景充分说明了状态计算在整个流式计算过程中重要性，可以看出，在Flink引人状态这一特性，能够极大地提升流式计算过程中数据的使用范围以及指标计算的复杂度，而不再需要借助类似于Redis外部缓存存储中间结果数据，这种方式需要频繁地和外部系统交互，并造成大量系统性能开销，且不易保证数据在传输和计算过程中的可靠性，当外部存储发生变化，就可能会影响到Flink内部的计算结果。

![640?wx\_fmt=png][640_wx_fmt_png 1]

[640_wx_fmt_png]: /images/20211105/0d9fe9cac3e940a3befdc5493a12efc5.png
[640_wx_fmt_png 1]: /images/20211105/803c572d84364c648f3ef50a38ef09f0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，303人围观）

还没有评论，来说两句吧...

相关阅读

相关 java Flink（十一）Flink状态之算子状态

状态编程：流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。有状态的计算则会基于多个事件输出结果。算子状态：算子状态的

浅浅的花香味﹌/ 2022年11月16日 10:56/ 0 赞/ 215 阅读

相关 flink-概述

operator并行度相同+forward可合并，此时Task是一个operator chain，含main operator 时间/计数滚动/滑动注意滚动不重叠，滑动需

悠悠/ 2022年09月15日 12:56/ 0 赞/ 164 阅读

相关【Flink】Flink CDC介绍和原理概述

Flink CDC概述和原理什么是CDC？基于查询的CDC 和基于日志的CDC Flink CDC Flink CDC原理简述

电玩女神/ 2022年09月12日 00:57/ 0 赞/ 665 阅读

相关 Flink-状态管理-状态一致性

状态一致性 ![在这里插入图片描述][81e1a46f6a3740a69ce41b0ae2cf2bc4.png] 有状态的流处理,内部每个算子任务都可以有自己的状态（即

蔚落/ 2022年09月09日 12:48/ 0 赞/ 308 阅读

相关 Flink-状态管理-有状态算子和应用程序

状态管理流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过 90

迈不过友情╰/ 2022年09月09日 12:48/ 0 赞/ 176 阅读

相关 Flink教程(8)-Flink状态管理

文章目录 Flink状态管理 State分类 1）Operatior State(算子状态)

- 日理万妓/ 2022年09月08日 10:30/ 0 赞/ 221 阅读

相关 Flink 概述

1.概述　　在如今数据爆炸的时代，企业的数据量与日俱增，大数据产品层出不穷。今天给大家分享一款产品—— [Apache Flink][]，目前，已是 Apache 顶级

深碍√TFBOYSˉ_/ 2022年04月01日 05:53/ 0 赞/ 157 阅读

相关 Flink概述

Flink概述一、技术的演变在大数据计算中计算框架也在随着时间和需求不断的更新 1.1 Hadoop生态 14年Hadoop的MR计算框架带火了其相关的

缺乏、安全感/ 2022年02月04日 23:45/ 0 赞/ 210 阅读

相关 Flink DataStream State(状态)

Flink DataStream State(状态) 一、State（状态）的种类 State有2类：Keyed State和Operator State。

「爱情、让人受尽委屈。」/ 2021年12月18日 23:21/ 0 赞/ 370 阅读

相关 Flink有状态计算概述

在Flink架构体系中，有状态计算可以说是Flink非常重要的特性之一。有状态计算是指在程序计算过程中，在Flink程序内部存储计算产生的中间结果，并提供给后续Function

拼搏现实的明天。/ 2021年11月05日 11:48/ 0 赞/ 304 阅读