CDH6.0.1集成Flink1.10

我就是我 2022-11-24 14:08 204阅读 0赞

# 制作parcel安装包 #

## 制作支持`CDH-6.0.1`的`Flink-1.10.0`的`Parcel`安装包 ##

1.  下载项目  
    `git clone https://github.com/pkeropen/flink-parcel.git`  
    `cd flink-parcel`
2.  修改配置文件  
    `vim flink-parcel.properties`  
    修改后的内容如下：

#FLINK 下载地址
    # 这里是内网下载地址，下载之后通过nginx做下载管理的地址
    FLINK_URL=http://10.1.24.134:38080/flink-self/flink-1.10.0-bin-scala_2.11.tgz
    #flink版本号
    FLINK_VERSION=1.10.0
    #扩展版本号
    EXTENS_VERSION=BIN-SCALA_2.11
    #操作系统版本，以centos为例
    OS_VERSION=7
    #CDH 小版本
    CDH_MIN_FULL=5.16.1
    CDH_MAX_FULL=6.3.2
    #CDH大版本
    CDH_MIN=5
    CDH_MAX=6

1.  生成`parcel`文件  
    `./build.sh parcel`，生成的文件都在`FLINK-1.10.0-BIN-SCALA_2.11_build`目录下  
    ![在这里插入图片描述][20200806142244783.png]
2.  生成`csd`文件，生成文件`FLINK_ON_YARN-1.10.0.jar`
    
     *  `on yarn`版本
        
         *  `./build.sh csd_on_yarn`
     *  `standalone`版本
        
         *  `./build.sh csd_standalone`

## 集成flink ##

1.  将生成的`csd`的`jar`包文件放入指定目录中

cp FLINK_ON_YARN-1.10.0.jar /opt/cloudera/csd/
    chown cloudera-scm:cloudera-scm /opt/cloudera/csd/FLINK_ON_YARN-1.10.0.jar
    service cloudera-scm-server restart

1.  将生成的`parcel`三个文件通过`nginx`或`httpd`服务配置下载路径。这里配置的路径为`http://10.1.24.134:38080/flink/`，测试访问`http://10.1.24.134:38080/flink/manifest.json`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70]
2.  登录`http://10.1.24.224:7180/cmf/login`，点击`集群`==>`Parcel`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 1]
3.  点击`配置`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 2]
4.  增加一行url，并填入配置的`parcel`文件内网下载路径  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 3]
5.  然后依次选择`下载`>`分配`>`激活`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 4]
6.  添加`Flink`服务，按提示添加启动并运行。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 5]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 6]
7.  添加环境变量
    
        vi /etc/profile
        export FLINK_HOME=/opt/cloudera/parcels/FLINK-1.10.0-BIN-SCALA_2.11/lib/flink
        export PATH=$PATH:$FLINK_HOME/bin
        source /etc/profile

## 说明 ##

1.  在如果集群开启了安全，需要配置`security.kerberos.login.keytab`和`security.kerberos.login.principal`两个参数才能正正常启动。如未启动`kerberos`,则在`CDH`中添加`FLINK`服务时请清空这两个参数的内容。
2.  如果启动的过程中一直报错，可以查看`flink`日志，在`/var/log/flink`目录下。
3.  如果启动时报如下错误，则是缺少`hadoop`的相关`jar`包（`flink-shaded-hadoop-2-uber-2.7.5-7.0.jar`），将`jar`下载下来，放到`/opt/cloudera/parcels/FLINK-1.10.0-BIN-SCALA_2.11/lib/flink/lib/`目录下即可。下载地址：[https://download.csdn.net/download/qq\_39800434/12691909][https_download.csdn.net_download_qq_39800434_12691909]
    
        Error: A JNI error has occurred, please check your installation and try again
        Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
                at java.lang.Class.getDeclaredMethods0(Native Method)
                at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
                at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
                at java.lang.Class.getMethod0(Class.java:3018)
                at java.lang.Class.getMethod(Class.java:1784)
                at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
                at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
        Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException
                at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
                at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
                at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
                at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
                ... 7 more

[20200806142244783.png]: /images/20221124/ecd033ea6ae24983a11632309a5e44f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70]: /images/20221124/6e84e6325a604dfe913ad9152985cc02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 1]: /images/20221124/7f3354584a1e422fb5ec56d100743d0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 2]: /images/20221124/d462156b90184135bb0760285182a972.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 3]: /images/20221124/d19e0332517945b0aca33ccb82b3d270.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 4]: /images/20221124/d07a8dd3e0de4259aed2d58bf6443fa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 5]: /images/20221124/e2cd6ddf520b4ab1b87d42c329b96370.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODAwNDM0_size_16_color_FFFFFF_t_70 6]: /images/20221124/60ac56b3f33641f2ba0ee1c25db9087c.png
[https_download.csdn.net_download_qq_39800434_12691909]: https://download.csdn.net/download/qq_39800434/12691909