flink on yarn HA高可用集群搭建

本是古典 何须时尚 2023-10-06 12:25 85阅读 0赞

无论以什么样的模式提交Application到Yarn中运行，都会启动一个yarn-session(Flink 集群)，依然是由JobManager和TaskManager组成，那么JobManager节点如果宕机，那么整个Flink集群就不会正常运转，所以接下来搭建Flink on YARN HA集群

安装步骤

hadoop/yarn-site.xml

在这里插入图片描述
在这里插入图片描述

  1. <property> 
  2.     <name>yarn.resourcemanager.am.max-attempts</name> 
  3.     <value>10</value> 
  4.     <description> The maximum number of application master execution attempts AppMaster最大 重试次数 </description> 
  5. </property>

分发至其他节点：并重启
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

HA测试

Application Master就是Job Manager。
在node02上kill掉JM进程后，发现JM又会在node04上重启，已经实现了HA：
在这里插入图片描述
在这里插入图片描述
查看node04的日志：
在这里插入图片描述
提交一个flink job：
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，85人围观）

还没有评论，来说两句吧...

相关阅读