4.1.6 Flink-流处理框架-HA-Flink集群环境搭建(Yarn模式)

àì夳堔傛蜴生んèń 2022-12-29 09:29 105阅读 0赞

**目录**

1.前置准备

2.安装HA-Flink集群环境搭建(Yarn模式)

一、集群规划

二、集群配置

2.1 yarn-site.xml

2.2 flink-conf.yaml

2.3 masters

2.4 slaves

2.5 上传hadoop依赖包

2.6 分发

三、启动集群

3.1 启动ha-hadoop集群

3.2 启动Flink集群和任务历史服务器

四、查看集群

4.1 jps进程查看

4.2 Web UI查看

五、提交任务

六、遇到问题

--------------------

# 1.前置准备 #

CentOS7、jdk1.8、flink-1.10.1、hadoop-2.7.7、zookeeper-3.5.7

# 2.安装HA-Flink集群环境搭建(Yarn模式) #

## 一、集群规划 ##

![图片][20924b9953e83afc10e7881f8f00977f.png]

## 二、集群配置 ##

### 2.1 yarn-site.xml ###

<property>
      <name>yarn.resourcemanager.am.max-attempts</name>
      <value>4</value>
    </property>

### 2.2 flink-conf.yaml ###

# 配置使用zookeeper来开启高可用模式
    high-availability: zookeeper
    # 配置zookeeper的地址，采用zookeeper集群时，可以使用逗号来分隔多个节点地址
    high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181
    # 在zookeeper上存储flink集群元信息的路径
    high-availability.zookeeper.path.root: /ha-flink
    # 持久化存储JobManager元数据的地址，zookeeper上存储的只是指向该元数据的指针信息
    high-availability.storageDir: hdfs://hacluster:8020/flink/recovery
    # 将已完成的作业上传到此目录中，让任务历史服务器进行监控
    jobmanager.archive.fs.dir: hdfs://hacluster:8020/flink-jobhistory
    historyserver.web.address: hadoop01
    historyserver.web.port: 18082
    # 任务历史服务器监控目录中已存档的作业
    historyserver.archive.fs.dir: hdfs://hacluster:8020/flink-jobhistory
    historyserver.web.refresh-interval: 10000
    yarn.application-attempts: 10

### 2.3 masters ###

hadoop01:8081
    hadoop02:8081

### 2.4 slaves ###

hadoop01
    hadoop02
    hadoop03

### 2.5 上传hadoop依赖包 ###

**作业归档需要记录在hdfs上，但是当前版本的flink把hadoop的一些依赖删除了，需要手动将jar包放到lib目录下 ，这里我用的是`flink-shaded-hadoop-2-uber-2.7.5-10.0.jar`**

jar包(hadoop依赖包和wordcount依赖包)给大家提供下载地址：https://lanzous.com/b02b6wnfa，密码:2oby

### 2.6 分发 ###

[xiaokang@hadoop01 ~]$ distribution.sh /opt/software/flink-1.10.1
    [xiaokang@hadoop01 ~]$ distribution.sh /opt/software/hadoop-2.7.7/etc/hadoop/yarn-site.xml

## 三、启动集群 ##

### 3.1 启动ha-hadoop集群 ###

[xiaokang@hadoop01 ~]$ ha-hadoop.sh start
    # 创建作业归档目录
    [xiaokang@hadoop01 ~]$ hdfs dfs -mkdir /flink-jobhistory

### 3.2 启动Flink集群和任务历史服务器 ###

[xiaokang@hadoop01 ~]$ start-cluster.sh
    [xiaokang@hadoop01 ~]$ historyserver.sh start

相应的关闭操作：

*  **stop-cluster.sh**
 *  **historyserver.sh stop **

## 四、查看集群 ##

### 4.1 jps进程查看 ###

[xiaokang@hadoop01 ~]$ call-cluster.sh jps
    --------hadoop01--------
    10369 QuorumPeerMain
    11297 NodeManager
    12241 TaskManagerRunner
    10885 JournalNode
    10551 NameNode
    12599 Jps
    12538 HistoryServer
    11083 DFSZKFailoverController
    11211 JobHistoryServer
    10669 DataNode
    11823 StandaloneSessionClusterEntrypoint
    --------hadoop02--------
    8977 TaskManagerRunner
    7459 QuorumPeerMain
    7956 ResourceManager
    7542 NameNode
    7623 DataNode
    8616 StandaloneSessionClusterEntrypoint
    9066 Jps
    7821 DFSZKFailoverController
    7726 JournalNode
    8047 NodeManager
    --------hadoop03--------
    7456 QuorumPeerMain
    7636 JournalNode
    7764 ResourceManager
    7878 NodeManager
    8345 TaskManagerRunner
    8410 Jps
    7532 DataNode

### 4.2 Web UI查看 ###

两个 JobManager 和 任务历史服务器的端口号分别为 `8081` 、`8081`和 `18082`，界面应该如下：

![图片][7d4a02a2cf17adc99ed36be7d9c1e482.png]

![图片][2dd08b04064e9c6e5435942b99eff30c.png]

![图片][2a1f274e46ef6ff920a3844a7dcfcc7b.png]

## 五、提交任务 ##

流计算词频统计案例源码：

package cool.xiaokang.wordcount
    
    import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
    
    /**
     * TODO: Flink流计算WordCount
     */
    object FlinkStreamingWordCount1 {
      def main(args: Array[String]): Unit = {
        if(args==null || args.length!=2){
          println("缺少参数，使用方法：flink run FlinkStreamingWordCount-1.0.jar -c cool.xiaokang.wordcount.FlinkStreamingWordCount hadoop 1124")
          System.exit(1)
        }
        val host=args(0)
        val port=args(1)
        //1.初始化流计算环境
        val streamEnv:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
        //2.导入隐式转换
        import org.apache.flink.streaming.api.scala._
        //3.读取数据(Socket流)
        val lines:DataStream[String] = streamEnv.socketTextStream(host, port.toInt)
        //4.转换和处理数据并打印结果
        val result=lines.flatMap(_.split(" "))
          .map((_,1))
          .keyBy(0) //分组算子 0或1代表前面的DataStream[(String,Int)]的下标，0代表单词，1代表词频
          .sum(1) //聚合累加算子
        result.print("Result:")
        //5.启动流计算程序
        streamEnv.execute("FlinkSteamWordCount-微信公众号：小康新鲜事儿")
      }
    }

提交作业：

# 1.虚拟机内开启端口
    [xiaokang@hadoop01 ~]$ nc -lk 1124
    # 2.提交作业
    [xiaokang@hadoop01 ~]$ flink run -m yarn-cluster -ys 1 -ynm flink-wordcount-xiaokang -c cool.xiaokang.wordcount.FlinkStreamingWordCount -d ~/FlinkStreamingWordCount-1.0.jar hadoop01 1124

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

yarn中查看作业，并且可以跳转到flink的界面

![图片][b43d06b255f0df5039185d882423b1da.png]

输入数据以及结果(点击`ApplicationMaster` 查看)：

![图片][4c7b7e671e294d6cd5258c810538cf93.png]

![图片][1d3d8057bd830716f8570da0fdbd808c.png]

运行过程中将正在服务的JobManager（进程为`YarnJobClusterEntrypoint`）给kill掉，测试是否高可用

[xiaokang@hadoop01 ~]$ kill -9 14840

此时hadoop01的8081无法访问，hadoop02会进行接管（重新提交刚才被中断的作业），这个过程需要稍等一会儿

![图片][a60c2bec29d8b9303b41291ee3feccb9.png]

再次输入数据后可以从结果看出是一个新作业：

![图片][813e49ca829aac5e303a41fdfc7d2606.png]

![图片][158e3330306d0526f779240661cb6548.png]

结束任务后可以在任务历史服务器WebUI中进行查看：

![图片][c1a84acd63cede0f958b2db8d0d2f7d7.png]

也可以这么提交：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

# 六、遇到问题 #

is running beyond virtual memory limits.【虚拟内存超出运行】

报错信息：

Container [pid=30866,containerID=container_1600927953860_0003_02_000001] is running beyond virtual memory limits. Current usage: 117.3 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMjAyNTA4_size_16_color_FFFFFF_t_70_pic_center]  
yarn Container默认虚拟内存设置大小为目前物理机器得2.1倍2.1G，而目前yarn Container占用虚拟内存大小为2.2G超过2.1G。  
解决办法配置yarn-site.xml

<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>Whether virtual memory limits will be enforced for containers</description>
    </property>
    
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4</value>
        <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
    </property>

[20924b9953e83afc10e7881f8f00977f.png]: /images/20221120/ded174198f3e4315967879d924c94ea1.png
[7d4a02a2cf17adc99ed36be7d9c1e482.png]: /images/20221120/0b830fa896594940a54a9196903eb350.png
[2dd08b04064e9c6e5435942b99eff30c.png]: /images/20221120/bd6f75d02412458eaaba499e3af21ae9.png
[2a1f274e46ef6ff920a3844a7dcfcc7b.png]: /images/20221120/1e02f6f331d7453d9a30e72dc136e7f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/2647eb02ed914910a4350383fc568ee1.png
[b43d06b255f0df5039185d882423b1da.png]: /images/20221120/98be0fd320e546f78ed4c734f8ba9e34.png
[4c7b7e671e294d6cd5258c810538cf93.png]: /images/20221120/7ba676c67a964b388ed432c789f9e4fe.png
[1d3d8057bd830716f8570da0fdbd808c.png]: /images/20221120/d0b18eba6bca4ae89b4ad39491ffc16d.png
[a60c2bec29d8b9303b41291ee3feccb9.png]: /images/20221120/27ae7d6f29da434588b3f473673e8dd1.png
[813e49ca829aac5e303a41fdfc7d2606.png]: /images/20221120/84a2ff2acbb04807894c591332246031.png
[158e3330306d0526f779240661cb6548.png]: /images/20221120/9c238914ae5341e8b080cde1f43a4300.png
[c1a84acd63cede0f958b2db8d0d2f7d7.png]: /images/20221120/e8f93650f536418e9e715f64b07c78f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/7c07b52f8fb64b0b857bf4721c6dd0f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMjAyNTA4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/55c9552b8cbc469e9b21310a1c52306f.png