Flink1.13.2三种方式安装部署（建议收藏！）

秒速五厘米 2022-09-12 05:58 1078阅读 0赞

大家好，我是土哥。

今天，有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。

以下教程全部使用 `Flink1.13.2`版本，在普通用户下面部署：

## 1、Standalone部署 ##

**版本要求：**

<table> 
 <thead> 
  <tr> 
   <th align="left">版本</th> 
   <th align="center">节点</th> 
   <th align="right">部署方式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">flink-1.13.2-bin-scala_2.11.tgz</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">standalone</td> 
  </tr> 
 </tbody> 
</table>

### 1.1 将软件安装包放入集群中 ###

![bdd7ac2355a28802ea147d60c8c669e8.png][]

### 1.2、软件包解压 ###

tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

![abe6464b36d461d15b2e4363f338f22f.png][]

### 1.3、 配置系统环境变量 ###

# 1、进入目录下
    cd flink-1.13.2/
    
    # 2、查看完整classpsth，然后复制
    pwd 
    
    # 3、编辑系统变量
    sudo  vim  /etc/profile
    
    #4、配置变量环境
    export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
    export PATH=$PATH:$FLINK_HOME/bin
    
    #5 刷新系统变量环境
    source /etc/profile
    
    #6 查看是否配置成功
    $FLINK_HOME

![ec2e7f2d9eda4f77bc739b2d479212d1.png][]

![2110c9185b9b00ded0e977c184186196.png][]

![fe1bf4cf529c55667183e1019de870a2.png][]

### 1.4、配置Flink conf文件 ###

进入到flink-1.13.2/conf目录下

**1.4.1 配置flink-conf.yaml**

![d56d796c446c8e7ba2c9ceeba6d5ed54.png][]

**1.4.2 配置master**

#修改主节点ip地址
    192.168.244.129:8081

**1.4.3 配置work**

#修改从节点ip，因为是standalone，所有主从一样
    192.168.244.129

**1.4.4 配置zoo**

# 新建snapshot存放的目录，在flink-1.13.2目录下建
    mkdir tmp
    cd tmp
    mkdir zookeeper
    
    #修改conf下zoo.cfg配置
    vim zoo.cfg
    
    #snapshot存放的目录
    dataDir=/home/liyaozhou/lyz/flink-1.13.2/tmp/zookeeper
    
    #配置zookeeper 地址
    server.1=192.168.244.129:2888:3888

![c1998c898cba84f597cabcce70c87f71.png][]

**1.5、启动Flink 集群**

进入flink-1.13.2/bin目录下

./start-cluster.sh

![78e56ee253c33809e02b9f8b8e42c35b.png][]

![c72469406ae8b0f64a710d531d267af8.png][]

## 2、Standalone-HA集群部署 ##

集群部署两节点

<table> 
 <thead> 
  <tr> 
   <th align="left">版本</th> 
   <th align="center">主节点</th> 
   <th align="right">从节点</th> 
   <th align="right">部署方式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">flink-1.13.2-bin-scala_2.11.tgz</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">standalone-HA</td> 
  </tr> 
  <tr> 
   <td align="left">hadoop 2.6.4</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">Distributed</td> 
  </tr> 
  <tr> 
   <td align="left">zookeeper3.4.14</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">Distributed</td> 
  </tr> 
 </tbody> 
</table>

前提是zookeeper 和 hadoop 集群全部配置好

### 2.1、 将软件安装包放入集群中 ###

![eb7a9422ef60637ee0d2a1ee20a80480.png][]

### 2.2、软件包解压 ###

tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

![ccb1ff4a92bbeaf20b45b20bb87fd0f5.png][]

### 2.3、 配置系统环境变量 ###

# 1、进入目录下
    cd flink-1.13.2/
    
    # 2、查看完整classpsth，然后复制
    pwd 
    
    # 3、编辑系统变量
    sudo  vim  /etc/profile
    
    #4、配置变量环境
    export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
    export PATH=$PATH:$FLINK_HOME/bin
    
    #5、添加hadoop_conf classpath
    export HADOOP_CONF_DIR=/home/liyaozhou/lyz/hadoop-2.6.4/etc/hadoop
    
    #6 刷新系统变量环境
    source /etc/profile
    
    #7 查看是否配置成功
    $FLINK_HOME

![7692fb46b48e2a021eec091405bcf22e.png][]

![02de5c8950c88ded9b0914440dd9ad0e.png][]

![f2c11e4b048a8daa91c4bd465120cfa3.png][]

### 2.4、配置Flink conf文件 ###

进入到flink-1.13.2/conf目录下

**2.4.1 配置flink-conf.yaml**

#1. 配置jobmanager rpc 地址
    jobmanager.rpc.address: 192.168.244.129
    
    #2. 修改taskmanager内存大小，可改可不改
    taskmanager.memory.process.size: 2048m
    
    #3. 修改一个taskmanager中对于的taskslot个数，可改可不改
    taskmanager.numberOfTaskSlots: 4
    
    #4. 修改并行度，可改可不改
    parallelism.default: 4
    
    #5. 配置状态后端存储方式
    state.backend:filesystem
    
    #6. 配置启用检查点，可以将快照保存到HDFS
    state.backend.fs.checkpointdir: hdfs://192.168.244.129:9000/flink-checkpoints
    #7. 配置保存点，可以将快照保存到HDFS
    state.savepoints.dir: hdfs://192.168.244.129:9000/flink-savepoints
    
    #8. 使用zookeeper搭建高可用
    high-availability: zookeeper
    
    #9. 配置ZK集群地址
    high-availability.zookeeper.quorum: 192.168.244.129:2181
    
    #10. 存储JobManager的元数据到HDFS
    high-availability.storageDir: hdfs://192.168.244.129:9000/flink/ha/
    
    #11. 配置zookeeper client默认是 open，如果 zookeeper security 启用了更改成 creator
    high-availability.zookeeper.client.acl: open

![484bbb356973c1f4c0c5ea0d2bab3226.png][]

![283160d7416effb10c74beca79a6da4a.png][]

**2.4.2 配置master**

#修改主节点ip地址
    192.168.244.129:8081

**2.4.3 配置work**

#修改从节点ip，因为是standalone-ha，改另一个节点
    192.168.244.130

**2.4.4 配置zoo**

![a890b60e3adedb7ed35a76634e5307f7.png][]

### 2.5、下载hadoop依赖包 ###

下载地址：https://flink.apache.org/downloads.html\#additional-components

将包复制到flink-1.13.2/lib目录下

![85427fc0e34af39d4b7a4f8571aff1e8.png][]

### 2.6、 文件传输 ###

将主节点flink包复制到从节点
    scp -r flink-1.13.2 192.168.244.130:/home/liyaozhou/lyz/

![0e9832f532831ed19403cd8695f49d55.png][]

修改从节点 flink-conf.yaml rpc 的ip地址

![1e526711f6e33f8cee29449fa66b946d.png][]

### 2.7、启动Flink 集群 ###

进入flink-1.13.2/bin目录下

./start-cluster.sh

![470f69f8513cbc40b34441a23ac35505.png][]

![401d805131c44994a53502c20b684115.png][]

可以在登录界面看到，TaskManager的地址为192.168.244.130

![f68caff0f2a623ecbf72d014b7a20604.png][]

## 3、Flink On Yarn集群部署 ##

集群部署两节点

<table> 
 <thead> 
  <tr> 
   <th align="left">版本</th> 
   <th align="center">主节点</th> 
   <th align="right">从节点</th> 
   <th align="right">部署方式</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">flink-1.13.2-bin-scala_2.11.tgz</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">yarn</td> 
  </tr> 
  <tr> 
   <td align="left">hadoop 2.6.4</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">Distributed</td> 
  </tr> 
  <tr> 
   <td align="left">zookeeper3.4.14</td> 
   <td align="center">192.168.244.129</td> 
   <td align="right">192.168.244.130</td> 
   <td align="right">Distributed</td> 
  </tr> 
 </tbody> 
</table>

前提是zookeeper 和 hadoop 集群全部配置好

### 3.1 修改Hadoop集群的yarn-site.xml文件 ###

YARN模式下的HA需要注意一点，官方给出建议，必须要增加以下两项配置：  
YARN配置，修改yarn-site.xml

<property>
      <name>yarn.resourcemanager.am.max-attempts</name>
      <value>4</value>
      <description>
        The maximum number of application master execution attempts.
      </description>
    </property>
    
    
    
    
    
    <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
    </property>
    
    <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
    </property>

### 3.2 修改flink conf配置 ###

在flink-conf.yaml中添加如下两项：

#用户提交作业失败时，重新执行次数
    yarn.application-attempts: 4
    
    #设置Task在所有节点平均分配
    cluster.evenly-spread-out-slots: true

![baf5241c627d16624f9a6be9c9798d5f.png][]

### 3.3 启动测试（Session模式） ###

**3.3.1 启动 Flink 会话（在192.168.244.129上测试）**

# 主节点中执行
    bin/yarn-session.sh -d -jm 1024 -tm 1024 -s 1
    
    # -tm 表示每个 TaskManager 的内存大小
    # -s 表示每个 TaskManager 的 slots 数量
    # -d 表示以后台程序方式运行

![7118a86f6d4c69e9c5ac143381ac2f3f.png][]

**3.3.2 登录yarn集群页面查看**

登录网址：192.168.244.129:8088/cluster

![882f9a78f598170a7ef906b5ed60404d.png][]

**3.3.3 在yarn上提交任务 通过session模式**

`注意：此时提交的任务都通过该会话（Session）执行，不会再申请 yarn 资源`

（1）创建一个wordcount.txt文本，随便早一些数据，然后放到flink-1.13.2下面，然后将该文件传到hdfs中

hadoop  fs  -copyFromLocal  wordcount.txt  /

![17f2bfc3a803a4af30ceb78da24899ee.png][]

（2）提交任务

# 192.168.244.129 中执行即可
    bin/flink run examples/batch/WordCount.jar --input hdfs://192.168.244.129:9000/wordcount.txt

![8552f245ee6c3922a93eec0a8ebdf605.png][]

**3.3.3 查看 Hadoop 的 ApplicationManager 的 WEB-UI 页面**

![474f881a3cceb5222c5f682649000b32.png][]

![66284c8d963c9080db17c820815a179d.png][]

**3.3.4 关闭Session模式**

yarn application -kill application\_1631862788541\_0001

![c7112498375bd6ecc0951068dba2e6b8.png][]

### 3.4 启动测试（Per-job模式） ###

**3.4.1 直接提交 Job**

# -m jobmanager 的地址
    # -yjm 1024 指定 jobmanager 的内存信息
    # -ytm 1024 指定 taskmanager 的内存信息
    bin/flink run \
    -t yarn-per-job -yjm 1024 -ytm 1024  \
    --detached  examples/batch/WordCount.jar  \
    --input hdfs://192.168.244.129:9000/wordcount.txt

![e273c1fdae39dbe2599cac1ce8c1aa2f.png][]

![d935b5f299ab7b49c9d5bffed1eaa581.png][]

[bdd7ac2355a28802ea147d60c8c669e8.png]: /images/20220828/f8b2039193414838a414ea44c69c0c88.png
[abe6464b36d461d15b2e4363f338f22f.png]: /images/20220828/7205e29dbb47448aace62bec0708d646.png
[ec2e7f2d9eda4f77bc739b2d479212d1.png]: /images/20220828/53202d37487f40e18a30335488e62528.png
[2110c9185b9b00ded0e977c184186196.png]: /images/20220828/e3e284de00774dd4afabd7c6a141991f.png
[fe1bf4cf529c55667183e1019de870a2.png]: /images/20220828/b5aa4bfa00024e2ab0e5d685bad3ac9f.png
[d56d796c446c8e7ba2c9ceeba6d5ed54.png]: /images/20220828/c6e900ad596a400da8774a8ce016de61.png
[c1998c898cba84f597cabcce70c87f71.png]: /images/20220828/b32102d3163b450da2a21b20c93ec5e1.png
[78e56ee253c33809e02b9f8b8e42c35b.png]: /images/20220828/cc3d5f3df55941c3b7edffcc554c1075.png
[c72469406ae8b0f64a710d531d267af8.png]: /images/20220828/733739755a2842d6b01faaf1cff1e7f2.png
[eb7a9422ef60637ee0d2a1ee20a80480.png]: /images/20220828/c6a27eadb4d040a1bfd907acc76efd6f.png
[ccb1ff4a92bbeaf20b45b20bb87fd0f5.png]: /images/20220828/daa11dfd4adf4927a26d641a584756f8.png
[7692fb46b48e2a021eec091405bcf22e.png]: /images/20220828/92f3fc2ea5f546f488022b4891a13310.png
[02de5c8950c88ded9b0914440dd9ad0e.png]: /images/20220828/c1d6930a1fc44610a5d0f25214089229.png
[f2c11e4b048a8daa91c4bd465120cfa3.png]: /images/20220828/b468517d3c59421d91b64f80fc36b96e.png
[484bbb356973c1f4c0c5ea0d2bab3226.png]: /images/20220828/d5ada61fd57745689821a7008ae0c112.png
[283160d7416effb10c74beca79a6da4a.png]: /images/20220828/37370a3aa19843a9bdf912ab9fb0bd13.png
[a890b60e3adedb7ed35a76634e5307f7.png]: /images/20220828/8fd2793941ff44cab3dbbd499a670fde.png
[85427fc0e34af39d4b7a4f8571aff1e8.png]: /images/20220828/8e5a33c280a443ba82c56515f771a69c.png
[0e9832f532831ed19403cd8695f49d55.png]: /images/20220828/e4c6a2e83c474f17b7932d24324293d2.png
[1e526711f6e33f8cee29449fa66b946d.png]: /images/20220828/850dcc303bc14529a31941f97ebc3dae.png
[470f69f8513cbc40b34441a23ac35505.png]: /images/20220828/44a94242c6e4416aad22bd7289ffc17c.png
[401d805131c44994a53502c20b684115.png]: /images/20220828/5d4a8b10a0054ea1b8ead657530ddd3d.png
[f68caff0f2a623ecbf72d014b7a20604.png]: /images/20220828/32d3ba891411419dbe398eedaf5cb1ec.png
[baf5241c627d16624f9a6be9c9798d5f.png]: /images/20220828/e2ebed1d77b34057a572c12349b9f465.png
[7118a86f6d4c69e9c5ac143381ac2f3f.png]: /images/20220828/660463f9ca3843b7bfba37a72f1680b2.png
[882f9a78f598170a7ef906b5ed60404d.png]: /images/20220828/0f19fad1478c43be8fcf8856416e907f.png
[17f2bfc3a803a4af30ceb78da24899ee.png]: /images/20220828/4f1b7175c39e4ae5b2d9cd4f6639b019.png
[8552f245ee6c3922a93eec0a8ebdf605.png]: /images/20220828/e450ac5d71c944978cd7d0b762a7d75f.png
[474f881a3cceb5222c5f682649000b32.png]: /images/20220828/8d4b91500efb4b6da6ac158453f0cdec.png
[66284c8d963c9080db17c820815a179d.png]: /images/20220828/c5372424d8944018a6634e8733664bbd.png
[c7112498375bd6ecc0951068dba2e6b8.png]: /images/20220828/c838dd5eff244d6d936f063b39ed26c3.png
[e273c1fdae39dbe2599cac1ce8c1aa2f.png]: /images/20220828/25caa9d4203d4c9a8eb650ef85cbd6c0.png
[d935b5f299ab7b49c9d5bffed1eaa581.png]: /images/20220828/84f4c69f152f4dc19a7027cfda8555e0.png