Flink原理（二）——资源

淩亂°似流年 2021-11-09 19:30 239阅读 0赞

前言

本文主要是想简要说明Flink在集群部署、任务提交、任务运行过程中资源情况，若表述有误欢迎大伙留言分享，非常感谢！

--------------------

**一、集群部署阶段**

集群部署这里指的是Flink standalone模式，因为在Yarn模式（包括session、single job模式）是可以仅通过Flink client提交任务到Yarn上，所以是否手动部署Flink集群对任务的执行是没有影响的。下图\[1\]是简单的Flink的集群构成情况，包括一个master（JobManager）、两个worker（TaskManager）。至于Flink standalone模式的HA（一般有两个JobManager加上若干个TaskManager组成）是通过zookeeper实现的，其主要思想是通过zookeeper选举出JobManager的active节点，该结点负责资源分配等，另一个节点为standby。Flink的Yarn模式的高可用的通过在container中对JobManager的重启实现的，其具体过程在此不详细说明。

![1168728-20190728220651604-442278260.png][]

部署阶段主要有以下两个参数：

1 #每个TaskManager中slot的个数，默认为1
    2 taskmanager.numberOfTaskSlots
    3 #任务的并行度，默认为1
    4 parallelism.default

1）taskmanager.numberOfTaskSlots：每个TaskManager中slot的数量，官方文档推荐：和每个TaskManager中物理CPU的个数成比例，比如：等于CPU的个数，或者是CPU个数的一半；

2）parallelism.default：任务的并行度，默认值为1，该值可以通过在程序中设定setParallesim()改变，并行度与slot的关系见下详解；

**二、任务提交阶段**

Flink集群资源的使用情况除了和已分配的资源有关外，还与并行度有关，已分配的资源表示Flink可以利用这么多资源，而实际能利用多少资源还和并行度有关。任务并行度的最大值由TaskManager集群的Slot总数决定，如：slot总数为10，则任务最大的并行度为10.

在standalone模式中，Flink任务能利用的总资源已在启动集群时确定，其并行通过在执行./flink run 时，通过可选参数**\[-p\]**确定（不指定则为默认值1）。

在Yarn模式中，均是先Yarn集群中分配资源给新建的Flink集群，如下图，其详细过程见[文档][Link 1]\[2\]。

![1168728-20190728222813225-190171872.png][]

Flink的Yarn模式session、single job模式在实现方法上还是存在一定的区别：

1）session模式是先利用yarn-session.sh在yarn新建一个Flink集群，然后利用./flink run flinkExample.jar提交任务，其资源分配的方式和standalone模式一致；

./yarn-session.sh -n 4 -s 8 -jm 3072 -tm 32768

-n：在yarn上分配了4个container，即分配了4个TaskManager；

-s：每个TaskManager有8个slot；

-jm：每个JobManager中的内存数；

-tm：每个TaskManager中的内存数；

2）single job模式在命令中在申请资源的同时，提交任务，常用命令如下：

./flink run -m yarn-cluster -yn 7 -ys 8 example.jar

-yn：yarn上分配的container个数，即TaskManager的个数；

-ys：每个TaskManager中slot的个数

其他参数的具体使用方法可以在控制台中执行./flink、./yarn-session.sh得到说明。

**说明**：session模式和single job的区别：

1）session模式：Flink任务运行结束后，从yarn上申请到的资源是不被释放的，等待下一个Flink的提交，类似一个常住在yarn上永远不会结束的yarn任务。因为，yarn的资源分配模式中比如fair策略还是存在资源的竞争的，session模式资源的不释放性，这样可以在Yarn提供资源分配上的基础上进行实现资源隔离，也实现了对集群物理环境的屏蔽，但在一定的程度上造成了资源的浪费；

2）single job模式和一般的yarn任务一样，任务结束后就会释放申请到的资源，使资源得到重复利用。

所以session、single job模式的实际应用应根据需求使用。

**三、任务运行阶段**

假定一个3个TaskManager的集群，每个TaskManager有3个slot，集群一个9个slot，从下图中可以得到\[3\]：任务的并行度为1时，只会用一个slot，并行度为2会用2个slot，依次类推，当并行度为9时，9个slot都会被利用，当然从example4中可知，可以针对不同的算子（operator）定义并行度。

![1168728-20190728225421864-1316133529.png][]![1168728-20190728225606133-1625356822.png][]

**Ref:**

\[1\][https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/cluster\_setup.html][https_ci.apache.org_projects_flink_flink-docs-release-1.6_ops_deployment_cluster_setup.html]

\[2\] [https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn\_setup.html][Link 1]

\[3\][https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/config.html][https_ci.apache.org_projects_flink_flink-docs-release-1.6_ops_config.html]

转载于:https://www.cnblogs.com/love-yh/p/11261222.html

[1168728-20190728220651604-442278260.png]: /images/20211109/0dac93b411594474a06c1c5eea2a362d.png
[Link 1]: https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn_setup.html
[1168728-20190728222813225-190171872.png]: /images/20211109/5c381cbf832d4e29b66957339810873e.png
[1168728-20190728225421864-1316133529.png]: https://img2018.cnblogs.com/blog/1168728/201907/1168728-20190728225421864-1316133529.png
[1168728-20190728225606133-1625356822.png]: /images/20211109/2694138bf19b4a808096ec22ecebe73e.png
[https_ci.apache.org_projects_flink_flink-docs-release-1.6_ops_deployment_cluster_setup.html]: https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/cluster_setup.html
[https_ci.apache.org_projects_flink_flink-docs-release-1.6_ops_config.html]: https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/config.html