Flink容错机制(checkpoint)

﹏ヽ暗。殇╰゛Y 2023-08-17 15:16 134阅读 0赞

checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储（ Snapshot ）。如果Flink程序出现宕机，可以重新从这些快照中恢复数据。

![421906-20190831181530328-1587136640.png][]

1. checkpoint coordinator（协调器）线程周期生成 barrier （栅栏），发送给每一个source

2. source将当前的状态进行snapshot（可以保存到HDFS）

3. source向coordinator确认snapshot已经完成

4. source继续向下游transformation operator发送 barrier

5. transformation operator重复source的操作，直到sink operator向协调器确认snapshot完成

6. coordinator确认完成本周期的snapshot

代码设置示例：

<table style="border-collapse:collapse;background:#FFFFFF;">     
 <tbody> 
  <tr> 
   <td style="border:none;"> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// 5</span>秒启动一次<span style="font-family:'Courier New';">checkpoint</span> </span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.enableCheckpointing(5000) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// </span>设置<span style="font-family:'Courier New';">checkpoint</span>只<span style="font-family:'Courier New';">checkpoint</span>一次</span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// </span>设置两次<span style="font-family:'Courier New';">checkpoint</span>的最小时间间隔</span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.getCheckpointConfig.setMinPauseBetweenCheckpoints(1000) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// checkpoint</span>超时的时长</span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.getCheckpointConfig.setCheckpointTimeout(60000) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// </span>允许的最大<span style="font-family:'Courier New';">checkpoint</span>并行度</span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.getCheckpointConfig.setMaxConcurrentCheckpoints(1) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// </span>当程序关闭的时，触发额外的<span style="font-family:'Courier New';">checkpoint</span></span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.getCheckpointConfig.enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpoin </span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">tCleanup.RETAIN_ON_CANCELLATION) </span></p> <p><span style="color:#2f9956;font-size:10pt;"><span style="font-family:'Courier New';">// </span>设置<span style="font-family:'Courier New';">checkpoint</span>的地址</span></p> <p><span style="color:#000000;font-family:'Courier New';font-size:10pt;">env.setStateBackend(<span style="color:#7f0055;"><strong>new</strong><span style="color:#000000;"> FsStateBackend(<span style="color:#0000FF;">"hdfs://cdh1:8020/flink-checkpoint/"<span style="color:#000000;">))</span></span></span></span></span></p> </td> 
   <td style="border:none;"> <p><span style="color:#2f9956;font-family:'Courier New';font-size:10pt;">&nbsp;</span>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/starzy/p/11439988.html

[421906-20190831181530328-1587136640.png]: /images/20230810/89f7b03cf1464f45b0c1a3a72f2ceade.png

发表评论取消回复

表情：

评论列表（有 0 条评论，134人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink (十) --------- 容错机制

目录一、检查点（Checkpoint） 1. 检查点的保存 2. 从检查点恢复状态 3. 检查点算法 4.

分手后的思念是犯贱/ 2024年03月24日 15:39/ 0 赞/ 49 阅读

相关 Flink 容错机制

Flink 容错机制主要包括：一致性检查点（checkpoint）从检查点恢复状态 Flink 检查点算法保存点（save points）

￡神魔★判官ぃ/ 2023年10月02日 18:37/ 0 赞/ 19 阅读

相关 Flink容错机制(checkpoint)

checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储（ Snapshot ）。如果Flink程序出现宕机，可以重新从这些快照

﹏ヽ暗。殇╰゛Y/ 2023年08月17日 15:16/ 0 赞/ 135 阅读

相关 Flink中的容错机制

一、检查点 1.1 一致性检查点（Checkpoints）概念 Flink故障恢复机制的核心，就是应用状态的一致性检查点有状态流应用的一致检查点，其实就是所有

男娘i/ 2023年01月17日 09:29/ 0 赞/ 118 阅读

相关 4.1.26 Flink-流处理框架-Flink中的容错机制之一致性检查点（checkpoint）

目录 1.写在前面（引申出定义） 2.一致性检查点 -------------------- 1.写在前面（引申出定义） Flink 具体如何保证

以你之姓@/ 2022年11月07日 04:17/ 0 赞/ 217 阅读

相关 Flink的容错机制

Flink的容错机制目录 Flink的容错机制一、状态的一致性一致性级别端到端的状态一致性

绝地灬酷狼/ 2022年11月06日 08:55/ 0 赞/ 299 阅读

相关深入理解 Flink 容错机制

本文作者：Paul Lin 本文链接： 2019/07/28/深入理解-Flink-容错机制/ 版权声明：本博客所有文章除特别声明外，均采用 CC BY-N

àì夳堔傛蜴生んèń/ 2022年10月29日 03:19/ 0 赞/ 257 阅读

相关 Flink之Checkpoint机制

目录（1）Checkpoint的背景（2）Flink 中Checkpoint （3）理解 Barrier （4）

妖狐艹你老母/ 2022年10月22日 05:26/ 0 赞/ 182 阅读

相关 Flink 专题 -2 Checkpoint、Savepoint 机制

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] CheckPoint 1. checkpoint

柔光的暖阳◎/ 2022年10月02日 03:50/ 0 赞/ 241 阅读

相关 Apache Flink 容错机制

1. Introduce Apache Flink 提供了可以恢复数据流应用到一致状态的容错机制。确保在发生故障时，程序的每条记录只会作用于状态一次（exactly-on

素颜马尾好姑娘i/ 2022年03月09日 03:16/ 0 赞/ 304 阅读