[Flink] 01 -flink-1.4.0安装与配置

逃离我推掉我的手 2021-12-01 16:52 445阅读 0赞

**环境**

*  宿主机：Windows 10 64\_bit
 *  虚拟机：VMware 15 pro
    
     *  CentOS 7.5 64\_bit（3台：1个master、2个slave）
     *  jdk1.8.0\_211
     *  Hadoop-2.6.5
     *  MySQL 5.7.26
     *  scala-2.11.4
     *  spark-2.0.2
     *  flink 1.4.0
 *  ssh工具：SecureCRT 7.3

**目录**

1、下载、上传压缩文件至Linux服务器

2、配置RPC调用地址，即修改`flink-conf.yaml`

3、分别配置主、从节点主机名

4、复制flink包到从节点，并配置和加载环境变量

5、验证：jps、web查看

**正文**

主、从节点都要安装

# 1、下载、上传压缩文件至Linux服务器 #

1）下载[地址][Link 1]  
2）使用SecureCRT的SFTP上传到master节点指定目录下：

sftp> cd /opt/bigdata
    sftp> pwd
    /opt/bigdata
    sftp> put E:\share\flink-1.4.0-bin-hadoop26-scala_2.11.tgz
    Uploading flink-1.4.0-bin-hadoop26-scala_2.11.tgz to /opt/bigdata/flink-1.4.0-bin-hadoop26-scala_2.11.tgz
      100% 211473KB  42294KB/s 00:00:05     
    E:/share/flink-1.4.0-bin-hadoop26-scala_2.11.tgz: 216548505 bytes transferred in 5 seconds (42294 KB/s)
    sftp>

# 2、配置RPC调用地址，即修改`flink-conf.yaml`文件 #

解压

[root@master bigdata]# pwd
    /opt/bigdata
    [root@master bigdata]# tar zxvf flink-1.4.0-bin-hadoop26-scala_2.11.tgz
    ...

[root@master conf]# pwd
    /opt/bigdata/flink-1.4.0/conf
    [root@master conf]# cat flink-conf.yaml
    ...
    # JobManager runs.
    
    #jobmanager.rpc.address: localhost
    jobmanager.rpc.address: master
    ...

注释掉上一句，添加这句：

jobmanager.rpc.address: master

# 3、分别配置主、从节点主机名 #

1）配置主节点主机名`masters`文件

[root@master conf]# pwd
    /opt/bigdata/flink-1.4.0/conf
    [root@master conf]# cat masters
    localhost:8081
    master:8081

2）配置从节点主机名`slaves`文件

[root@master conf]# cat slaves
    localhost
    slave1
    slave2

# 4、复制flink包到从节点，并配置和加载环境变量 #

1）远程传输flink包到从节点slave1 和slave2

[root@master bigdata]# pwd
    /opt/bigdata
    [root@master bigdata]# scp -r flink-1.4.0 root@slave1:/opt/bigdata/flink-1.4.0
    ...
    [root@master bigdata]# scp -r flink-1.4.0 root@slave2:/opt/bigdata/flink-1.4.0
    ...

2）所有节点都配置环境变量，并重新加载环境变量

主节点：

[root@master bigdata]# cat /etc/profile
    ...
    FLINK_HOME=/opt/bigdata/flink-1.4.0
    export PATH=$PATH:$FLINK_HOME/bin
    [root@master bigdata]# source /etc/profile

从节点，同样的操作。

# 5、验证：jps、web查看 #

[root@master bigdata]# jps
    28808 SecondaryNameNode
    36697 Jps
    28667 NameNode
    28955 ResourceManager
    30398 QuorumPeerMain

**主节点-启动集群：**

[root@master flink-1.4.0]# pwd
    /opt/bigdata/flink-1.4.0
    [root@master flink-1.4.0]# bin/start-cluster.sh

主节点-查看服务进程：`JobManager`

[root@master flink-1.4.0]# jps
    37187 JobManager
    28808 SecondaryNameNode
    28667 NameNode
    28955 ResourceManager
    37580 TaskManager
    37628 Jps
    30398 QuorumPeerMain

从节点：`TaskManager`

[root@slave1 bigdata]# jps
    10144 NodeManager
    10514 QuorumPeerMain
    14275 TaskManager
    10072 DataNode
    14319 Jps

[root@slave2 bigdata]# jps
    26322 NodeManager
    26233 DataNode
    26666 QuorumPeerMain
    30267 Jps
    30222 TaskManager

web控制台，浏览器访问：`http://master:8081/#/overview`  
![在这里插入图片描述][20190721022530781.png]  
主节点-关闭集群：

[root@master flink-1.4.0]# pwd
    /opt/bigdata/flink-1.4.0
    [root@master flink-1.4.0]# bin/stop-cluster.sh
    ...

[Link 1]: https://archive.apache.org/dist/flink/flink-1.4.0/
[20190721022530781.png]: /images/20211201/201c7188fecf48c78850649f01be83fa.png