Flink 集群搭建

蔚落 2024-04-20 09:04 67阅读 0赞

# 3.Flink 集群搭建 #

**Flink 可以选择的部署方式有：**

Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。

我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。

## 3.1Standalone 模式安装 ##

我们对 standalone 模式的 Flink 集群进行安装，准备三台虚拟机，其中一台作为

JobManager（hadoop-senior01），另外两台作为 TaskManager（hadoop-senior02、

hadoop-senior03）。

1. 在官网下载 1.6.1 版本 Flink（https://archive.apache.org/dist/flink/flink-1.6.1/）。

2. 将安装包上传到要按照 JobManager 的节点（hadoop-senior01）。

3. 进入 Linux 系统对安装包进行解压：

[lxl@hadoop102 software]$ tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C /opt/module/

4. 修改安装目录下 conf 文件夹内的 flink-conf.yaml 配置文件，指定 JobManager：

[lxl@hadoop102 conf]$ vi flink-conf.yaml

![1604514-20190712223237357-1301068371.png][]

5. 修改安装目录下 conf 文件夹内的 slave 配置文件，指定 TaskManager：

[lxl@hadoop102 conf]$ vi slaves

[lxl@hadoop102 conf]$ cat slaves 
    hadoop103
    hadoop104

6. 将配置好的 Flink 目录分发给其他的两台节点：

[lxl@hadoop102 module]$ xsync flink

7. 在 hadoop102 节点启动集群：

[lxl@hadoop102 flink]$ bin/start-cluster.sh

8. 通过 jps 查看进程信息：

[lxl@hadoop102 flink]$ jps
    3041 Jps
    2985 StandaloneSessionClusterEntrypoint
    
    [lxl@hadoop103 ~]$ jps
    2759 Jps
    2682 TaskManagerRunner
    
    [lxl@hadoop104 ~]$ jps
    2758 Jps
    2680 TaskManagerRunner

9. 访问集群 web 界面（8081 端口）：

![1604514-20190712224622537-730514276.png][]

## 3.2Yarn 模式安装 ##

1 在官网下载 1.6.1 版本 Flink（https://archive.apache.org/dist/flink/flink-1.6.1/）。

2 将安装包上传到要按照 JobManager 的节点（hadoop-senior01）。

3 进入 Linux 系统对安装包进行解压：

4 修改安装目录下 conf 文件夹内的 flink-conf.yaml 配置文件，指定 JobManager：

5 修改安装目录下 conf 文件夹内的 slave 配置文件，指定 TaskManager：

6 将配置好的 Flink 目录分发给其他的两台节点：

以上步骤 Standalone 已经完成

7. 明确虚拟机中已经设置好了环境变量 HADOOP\_HOME。 （安装Hadoop时已做）

8. 启动 Hadoop 集群（HDFS 和 Yarn）。

9. 在 hadoop102 节 点 提 交 Yarn-Session， 使 用 安 装目 录 下 bin 目录中的

yarn-session.sh 脚本进行提交：

/opt/modules/flink/bin/yarn-session.sh -n 2 -s 6 -jm 1024 -tm 1024 -nm test -d

其中：

-n(--container)：TaskManager 的数量。

-s(--slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个taskmanager 的 slot 的个数为 1。

-jm：JobManager 的内存（单位 MB)。

-tm：每个 taskmanager 的内存（单位 MB)。

-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。

-d：后台执行。

10. 启动后查看 Yarn 的 Web 页面，可以看到刚才提交的会话：

![1604514-20190713001953805-183139784.png][]

11. 在提交 Session 的节点查看进程：

[lxl@hadoop103 ~]$ jps
    4034 NodeManager
    2838 DataNode
    4506 Jps
    2682 TaskManagerRunner
    4458 YarnSessionClusterEntrypoint
    3916 ResourceManager

12. 提交 Jar 到集群运行：

/opt/modules/flink/bin/flink run -m yarn-cluster examples/batch/WordCount.jar

13. 提交后在 Yarn 的 Web 页面查看任务运行情况：

![1604514-20190713002409621-1160752992.png][]

14. 任务运行结束后在控制台打印如下输出：

![1604514-20190713002507489-473631654.png][]

转载于:https://www.cnblogs.com/LXL616/p/11179092.html

[1604514-20190712223237357-1301068371.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e9b1adeebbc948e79b35dab69de2ed11.png
[1604514-20190712224622537-730514276.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8872b8c845bf4d2e8cda7954ad466b36.png
[1604514-20190713001953805-183139784.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/31d395216fa54276a201e908e7f041c1.png
[1604514-20190713002409621-1160752992.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/859c23add4104a96adee2229cbccd9ab.png
[1604514-20190713002507489-473631654.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/03eff59d8eb4493e884e2b3ed99019a0.png