Flink 重启策略

谁践踏了优雅 2023-02-24 12:26 64阅读 0赞

参考文章：[Flink 重启策略][Flink]

[Flink重启策略官网介绍][Flink 1]

Flink支持不同的重启策略，可以控制在发生故障时如何重新启动作业。可以使用默认重新启动策略启动集群，该策略在未定义任何特定于作业的重新启动策略时始终使用。如果使用重新启动策略提交作业，此策略将覆盖群集的默认设置。

# 重启(Restart Strategies)策略种类： #

>  *  固定延迟重启策略（Fixed Delay Restart Strategy）
>  *  故障率重启策略（Failure Rate Restart Strategy）
>  *  没有重启策略（No Restart Strategy）
>  *  后背重启策略（Fallback Restart Strategy）

默认重启策略是通过Flink的配置文件设置的flink-conf.yaml, 定义策略的配置key为: restart-strategy。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9iaWctZGF0YS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

如果未启用检查点，则使用“无重启”策略。如果激活了检查点但未配置重启策略，则使用“固定延迟策略”尝试重启：

>  *  restart-strategy.fixed-delay.
>  *  attempts: Integer.MAX\_VALUE

请参阅以下可用的重新启动策略列表。

<table> 
 <thead> 
  <tr> 
   <th>Restart Strategy</th> 
   <th>Value for restart-strategy</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Fixed delay</td> 
   <td>fixed-delay</td> 
  </tr> 
  <tr> 
   <td>Failure rate</td> 
   <td>failure-rate</td> 
  </tr> 
  <tr> 
   <td>No restart</td> 
   <td>none</td> 
  </tr> 
 </tbody> 
</table>

**除了定义默认重启策略之外，还可以为每个Flink作业定义特定的重启策略。**  
通过调用setRestartStrategyon上的方法以编程方式设置此重新启动策略ExecutionEnvironment。  
请注意，这也适用于StreamExecutionEnvironment。  
例： 如何在Flink Job中设置固定延迟重启策略。如果发生故障，系统会尝试重新启动作业3次，并在连续重启尝试之间等待10秒。

val env = ExecutionEnvironment.getExecutionEnvironment()
    env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
      3, // number of restart attempts
      Time.of(10, TimeUnit.SECONDS) // delay
    ))

# 重启策略的配置项 #

### 固定延迟重启策略（Fixed Delay Restart Strategy） ###

固定延迟重启策略尝试给定次数重新启动作业。如果超过最大尝试次数，则作业最终会失败。在两次连续重启尝试之间，重启策略等待一段固定的时间。

通过在`flink-conf.yaml`配置文件中设置以下配置参数，此策略默认启用。

restart-strategy: fixed-delay

<table> 
 <thead> 
  <tr> 
   <th>配置参数</th> 
   <th>描述</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>restart-strategy.fixed-delay.attempts</td> 
   <td>Flink在作业声明失败之前重试执行的次数。</td> 
   <td>1，或者Integer.MAX_VALUE如果通过检查点激活</td> 
  </tr> 
  <tr> 
   <td>restart-strategy.fixed-delay.delay</td> 
   <td>延迟重试意味着在执行失败后，重新执行不会立即开始，而是仅在一定延迟之后。当程序与外部系统交互时，延迟重试可能会有所帮助，例如，在尝试重新执行之前，连接或挂起的事务应该达到超时。</td> 
   <td>akka.ask.timeout，如果通过检查点激活，则为10秒</td> 
  </tr> 
 </tbody> 
</table>

例如：

restart-strategy.fixed-delay.attempts: 3
    restart-strategy.fixed-delay.delay: 10 s

也可以通过编程方式设置：

### 故障率重启策略（Failure Rate Restart Strategy） ###

故障率重启策略在故障后重新启动作业，但是当failure rate超过（每个时间间隔的故障）时，作业最终会失败。在两次连续重启尝试之间，重启策略等待一段固定的时间。

通过在`flink-conf.yaml`中设置以下配置参数，此策略默认启用。

restart-strategy: failure-rate

<table> 
 <thead> 
  <tr> 
   <th>配置参数</th> 
   <th>描述</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>restart-strategy.failure-rate.max-failures-per-interval</td> 
   <td>失败作业之前给定时间间隔内的最大重启次数</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>restart-strategy.failure-rate.failure-rate-interval</td> 
   <td>测量故障率的时间间隔。</td> 
   <td>1分钟</td> 
  </tr> 
  <tr> 
   <td>restart-strategy.failure-rate.delay</td> 
   <td>两次连续重启尝试之间的延迟</td> 
   <td>akka.ask.timeout</td> 
  </tr> 
 </tbody> 
</table>

restart-strategy.failure-rate.max-failures-per-interval: 3
    restart-strategy.failure-rate.failure-rate-interval: 5 min
    restart-strategy.failure-rate.delay: 10 s

也可以通过编程方式设置：

val env = ExecutionEnvironment.getExecutionEnvironment()
    env.setRestartStrategy(RestartStrategies.failureRateRestart(
      3, // max failures per unit
      Time.of(5, TimeUnit.MINUTES), //time interval for measuring failure rate
      Time.of(10, TimeUnit.SECONDS) // delay
    ))

### 没有重启策略（No Restart Strategy） ###

作业直接失败，不尝试重启。

restart-strategy: none

也可以通过编程方式设置no restart策略：

val env = ExecutionEnvironment.getExecutionEnvironment()
    env.setRestartStrategy(RestartStrategies.noRestart())

### *后背重启策略（Fallback Restart Strategy）* ###

*使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。*

[Flink]: https://www.jianshu.com/p/22409ccc7905
[Flink 1]: https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/task_failure_recovery.html#top
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9iaWctZGF0YS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20230209/d9a8c86f88564d89b1f87622af77857c.png