flink HA高可用Standalone集群搭建

古城微笑少年丶 2023-10-06 12:22 105阅读 0赞

flink 1.9.2版本搭建的HA JM存在bug：
明明在node01, node02两个节点上都有JM，但是孰是activing，孰是standby状态无法区分。Spark是有明确的状态显示的。

单独启动JM或TM

分别单独执行jobmanager.sh taskmanager.sh即可：
在这里插入图片描述

集群角色划分说明

在这里插入图片描述

高可用实现步骤

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
HDFS用于保存JM的元数据信息，flink最擅长的是进行有状态的计算，因此也就需要对大量数据进行存储：
在这里插入图片描述

在这里插入图片描述
vim masters：
将所有的JM都加进来：
在这里插入图片描述
要将修改后的配置文件同步到其他节点：
在这里插入图片描述
在这里插入图片描述

启动HA集群

要先启动HDFS和zk。

要想将flink数据保存到hdfs，必须先下载这个插件：并将其放到flink的lib目录下。每个节点都要放。
在这里插入图片描述
在这里插入图片描述

启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，105人围观）

还没有评论，来说两句吧...

相关阅读