TwoPhaseCommitSinkFunction二阶段提交

╰+哭是因爲堅強的太久メ 2022-12-23 06:52 237阅读 0赞

1，什么是二阶段提交？

**TwoPhaseCommitSinkFunction**

Flink 已经为我们提供了实现 Exactly-Once 的 FlinkKafkaProducer 类。如下图所示：它实现了 `TwoPhaseCommitSinkFunction`类，并重写了其中的方法，通过 2PC (Two Phase Comit) 二阶提交的方式，实现了 Exactly-Once。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]  
       使用关系型数据库 MySQL，开启 CheckPoint 机制的前提下，`为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。`这种情况，便使用到了 `TwoPhaseCommitSinkFunction`类，以此来实现 MySQL 关系型数据库的二阶提交。

2，需要什么条件？

sink对象需要支持事务，很可惜大部分都不支持，那怎么办呢？

目前解决方案就是不停重复的写，或者写入缓存，或者写入外部。

JBDC案例：

public class MySqlTwoPhaseCommitSink extends ***TwoPhaseCommitSinkFunction***<String>,Connection,Void> \{

主要实现***TwoPhaseCommitSinkFunction 函数。***

3，Flink写入doris实现二阶段提交。

目前不支持，doris stream load是原子性的，它是自动提交事务的。

参考文章：

[https://blog.bcmeng.com/post/meituan-doris.html\#%E5%8F%98%E5%8C%96%E7%BB%B4%E8%A1%A8-join][https_blog.bcmeng.com_post_meituan-doris.html_E5_8F_98_E5_8C_96_E7_BB_B4_E8_A1_A8-join]

[https://blog.bcmeng.com/post/kafka-to-doris.html\#doris-stream-load-%E5%8E%9F%E7%90%86][https_blog.bcmeng.com_post_kafka-to-doris.html_doris-stream-load-_E5_8E_9F_E7_90_86]

[https://blog.csdn.net/lzb348110175/article/details/104534095][https_blog.csdn.net_lzb348110175_article_details_104534095]

[https://blog.51cto.com/simplelife/2401521][https_blog.51cto.com_simplelife_2401521]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]: /images/20221120/715615f9ab664b2cbbd07feb545b86ef.png
[https_blog.bcmeng.com_post_meituan-doris.html_E5_8F_98_E5_8C_96_E7_BB_B4_E8_A1_A8-join]: https://blog.bcmeng.com/post/meituan-doris.html#%E5%8F%98%E5%8C%96%E7%BB%B4%E8%A1%A8-join
[https_blog.bcmeng.com_post_kafka-to-doris.html_doris-stream-load-_E5_8E_9F_E7_90_86]: https://blog.bcmeng.com/post/kafka-to-doris.html#doris-stream-load-%E5%8E%9F%E7%90%86
[https_blog.csdn.net_lzb348110175_article_details_104534095]: https://blog.csdn.net/lzb348110175/article/details/104534095
[https_blog.51cto.com_simplelife_2401521]: https://blog.51cto.com/simplelife/2401521