Flink重启策略

迈不过友情╰ 2021-11-16 09:24 381阅读 0赞

**Flink重启策略**

Flink支持不同的重启策略，可以控制在发生故障时如何重新启动作业。可以使用默认重新启动策略启动集群，该策略在未定义任何特定于作业的重新启动策略时始终使用。如果使用重新启动策略提交作业，此策略将覆盖群集的默认设置。

**概述**

默认重启策略是通过Flink的配置文件设置的flink-conf.yaml。配置参数restart-strategy定义采用的策略。如果未启用检查点，则使用“无重启”策略。如果激活了检查点并且尚未配置重启策略，则固定延迟策略将用于 Integer.MAX\_VALUE重启尝试。请参阅以下可用的重新启动策略列表，以了解支持的值。

每个重启策略都有自己的一组参数来控制其行为。这些值也在配置文件中设置。每个重新启动策略的描述包含有关相应配置值的更多信息。

除了定义默认重启策略之外，还可以为每个Flink作业定义特定的重启策略。通过调用上的**setRestartStrategy**方法以编程方式设置此重新启动策略ExecutionEnvironment。请注意，这也适用于**StreamExecutionEnvironment**。

以下示例显示了我们如何为我们的工作设置固定延迟重启策略。如果发生故障，系统会尝试重新启动作业3次，并在连续重启尝试之间等待10秒。

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();	
    env.setRestartStrategy(RestartStrategies.fixedDelayRestart(	
      3, // number of restart attempts	
      Time.of(10, TimeUnit.SECONDS) // delay	
    ));

**固定延迟重启策略**

固定延迟重启策略尝试给定次数重新启动作业。如果超过最大尝试次数，则作业最终会失败。在两次连续重启尝试之间，重启策略等待一段固定的时间。

通过在中设置以下配置参数，此策略默认启用 flink-conf.yaml

restart-strategy: fixed-delay

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">配置参数</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">描述</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">默认值</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">restart-strategy.fixed-delay.attempts</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">Flink在作业声明失败之前重试执行的次数。</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">1，或者Integer.MAX_VALUE如果通过检查点激活</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">restart-strategy.fixed-delay.delay</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">延迟重试意味着在执行失败后，重新执行不会立即开始，而是仅在一定延迟之后。当程序与外部系统交互时，延迟重试可能会有所帮助，例如，在尝试重新执行之前，连接或待处理事务应达到超时。</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">akka.ask.timeout，如果通过检查点激活，则为10秒</td> 
 </tr> 
 </tbody> 
</table>

例如：

restart-strategy.fixed-delay.attempts: 3	
    restart-strategy.fixed-delay.delay: 10 s

固定延迟重启策略也可以通过编程方式设置：

**故障率重启策略**

故障率重启策略在故障后重新启动作业，但是当failure rate 超过（每个时间间隔的故障）时，作业最终会失败。在两次连续重启尝试之间，重启策略等待一段固定的时间。

通过在中设置以下配置参数，此策略默认启用flink-conf.yaml。

restart-strategy: failure-rate

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">配置参数</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">描述</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">默认值</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">重新启动-strategy.failure-rate.max-故障每间隔</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">失败作业之前的给定时间间隔内的最大重启次数</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">1</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">重启strategy.failure-rate.failure速率间隔</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">测量故障率的时间间隔。</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">1分钟</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">重启strategy.failure-rate.delay</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">两次连续重启尝试之间的延迟</td> 
 <td style="vertical-align:top;font-family:'SF Pro', Roboto, 'Droid Sans', Noto, Helvetica, Tahoma, Arial, 'Microsoft YaHei', '微软雅黑', 'PingFang SC', 'Hiragino Sans GB', 'Heiti SC', sans-serif;">akka.ask.timeout</td> 
 </tr> 
 </tbody> 
</table>

restart-strategy.failure-rate.max-failures-per-interval: 3	
    restart-strategy.failure-rate.failure-rate-interval: 5 min	
    restart-strategy.failure-rate.delay: 10 s

故障率重启策略也可以通过编程方式设置：

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();	
    env.setRestartStrategy(RestartStrategies.failureRateRestart(	
      3, // max failures per interval	
      Time.of(5, TimeUnit.MINUTES), //time interval for measuring failure rate	
      Time.of(10, TimeUnit.SECONDS) // delay	
    ));

**没有重启策略**

作业直接失败，不尝试重启

restart-strategy: none

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();	
    env.setRestartStrategy(RestartStrategies.noRestart());

后备重启策略

使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_jpeg]: /images/20211116/d7d4328161684ee185f1c3183c6cf988.png