flink搭建集群（一主三从）

痛定思痛。 2023-10-06 12:21 87阅读 0赞

配置

在这里插入图片描述

  • 配置flink-conf.yaml

    vim flink-conf.yaml

在这里插入图片描述

  • 配置从节点

    vim slaves

在这里插入图片描述
配置高可用时还需配置masters配置文件。

  • 分发到其他节点：

    scp -r flink-1.9.2 node02:pwd
    scp -r flink-1.9.2 node03:pwd
    scp -r flink-1.9.2 node04:pwd

在这里插入图片描述

  • 配置环境变量：

    vim ~/.bashrc
    source ~/.bashrc

在这里插入图片描述

启动flink

  1. cd bin

在这里插入图片描述

  1. ./start-cluster.sh

在这里插入图片描述

  • 主节点jps
    StandcloneSessionClusterEntrypoint就是JobManager
    在这里插入图片描述
  • 从节点jps
    TaskManagerRunner就是TaskManager
    在这里插入图片描述

web ui

  • 默认的web ui的端口是8081，在flink-conf.yaml中配置
    在这里插入图片描述
  • Task Managers
    在这里插入图片描述
    可管理的内存：
    Task Manager本身需要占用一部分内存，所以实际可用内存肯定比设置的要低
    在这里插入图片描述
    一般建议slot:cores=1:1

发表评论

表情：
评论列表 （有 0 条评论，87人围观）

还没有评论，来说两句吧...

相关阅读

    相关 搭建三主三从的redis集群

    目录总体理论总体理论开始搭建之前咱们先说一下大体的步骤和为什么这么做的原因，这样更容易理解集群的搭建过程。尽量避免写文章时只写过程，却不说为什么这么做，只有知道为什么这么...

    短命女短命女/ 0 赞/ 148 阅读

    相关 Flink 集群搭建

    3.Flink 集群搭建 　　 **Flink 可以选择的部署方式有：** 　　Local、Standalone（资源利用率低）、Yarn、Mesos、Docker...

    蔚落蔚落/ 0 赞/ 138 阅读

    相关 mysql一主多从集群搭建

    主从复制原理 当对主服务器进行写的操作时，主服务器将自己的操作记录到一个二进制日志文件中，从服务器有一个心跳机制，定时的去读取主服务器的日志文件，当对比自己的日志文件有差

    ゝ一世哀愁。ゝ一世哀愁。/ 0 赞/ 166 阅读