Flink 编译 Flink1.9.1-CDH6.2 对应版本

╰半橙微兮° 2021-09-23 14:44 382阅读 0赞

> Flink 的 Standalone Cluster 模式直接使用相应版本即可，部署 Flink on YARN 需要重新编译对应 Hadoop版本。
> 
> 这里编译 Flink1.9.1 ，CDH6.2 平台 Hadoop 版本是 hadoop-3.0.0-cdh6.2.0。

*  **目录**
 *  1. Git 方式
 *  1. 下载编译 flink-shade
 *  2. 下载 Flink-1.9.1 源码
 *  3. 编译
 *  4. 编译时报错
 *  2. 下载源码编译
 *  1. 下载编译 flink-shade
 *  2. 编译 flink-1.9.1
 *  附：Maven 中央库
 *  附:  Flink1.10.0 编译

--------------------

官方编译文档：[Building Flink from Source][]

[Flink国内镜像站][Flink]：[flink-1.9.1-src.tgz][] 、 [flink-shaded-7.0-src.tgz][]

编译完成：[Flink1.9.1-CDH6.2][]

## 1. Git 方式 ##

### **1. 下载编译 flink-shade** ###

将 Flink 对应的Hadoop版本编译打包到本地 Maven 库，编译 Flink 时会用到。Flink 1.9.1 对应 flink-shaded-7.0。

**1. 修改 flink-shaded-7.0 的pom.xml**

添加 cloudera repository

**2. 修改 flink-shaded-hadoop-2-uber 的 pom.xml**

添加

<dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.3.1</version>
    </dependency>

**3. 编译源码**

mvn clean install -DskipTests -Dhadoop.version=3.0.0-cdh6.2.0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70][]

### **2. 下载 Flink-1.9.1 源码** ###

# 获取源码
    git clone https://github.com/apache/flink.git
    
    # 进入源码目录
    cd flink
    
    # 查看版本
    git tag
    
    # 切换到 flink 1.9.1
    git checkout release-1.9.1
    
    # 查看当前所处的分支
    git branch

### **3. 编译** ###

> **-T4C：** 指定4线程编译。  
> **-DskipTests  -Dfast:** 跳过Tests、QA Plugins、JavsDocs等过程。  
> **-Pinclude-hadoop:** 编译时将 Hadoop二进制包放入Flink的lib中，去掉这个参数对Standalone模式没有影响，如果 Flink on YARN 模式，需要手动将编译完成的 /flink-shaded-hadoop/flink-shaded-hadoop2-uber/target/flink-shaded-hadoop2-uber-3.0.0-1.9.1.jar 拷贝到 $FLINK\_HOME/lib/下。  
> **-Pvendor-repos：** 激活相关 Repositories，如 Cloudera 的 Repositories，在编译过程中下载依赖对应版本的库。  
> **-Dscala-2.11：** Flink1.7以后默认Scala2.11，如果使用Scala2.12需要指定Scala版本。

mvn -T4C clean install -DskipTests -Dfast -Pinclude-hadoop -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.2.0

### **4. 编译时报错** ###

YARN Test 类问题：/opt/flink2/flink-yarn/src/test/java/org/apache/flink/yarn/AbstractYarnClusterTest.java

在 flink-yarn 的 pom 文件 build 中添加忽略代码测试。

<plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.8.0</version>
            <configuration>
                <source>${java.version}</source>
                <target>${java.version}</target>
                <skip>true</skip>
                
                <useIncrementalCompilation>false</useIncrementalCompilation>
                <compilerArgs>
                    
                    <arg>-Xpkginfo:always</arg>
                </compilerArgs>
            </configuration>
        </plugin>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 1][]

编译完成，编译后的目录：

/flink/flink-dist/target/flink-1.9.1-bin/flink-1.9.1/

将目录内容打包上传至服务器即可。

## **2. 下载源码编译**     ##

### **1. 下载编译 flink-shade** ###

将 Flink 对应的Hadoop版本编译打包到本地 Maven 库，编译 Flink 时会用到。Flink 1.9.1 对应 flink-shaded-7.0。

**1. 修改 flink-shaded-7.0 的pom.xml**

添加 cloudera repository

**2. 修改 flink-shaded-hadoop-2-uber 的 pom.xml**

添加

<dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.4.0</version>
    </dependency>

**3. 编译源码**

进入 flink-shaded-7.0 目录，运行 cmd

mvn clean install -DskipTests -Dhadoop.version=3.0.0-cdh6.2.0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70][]

### **2. 编译 flink-1.9.1**  ###

**1. 修改 flink-1.9.1 的 pom 文件，或者不修改，直接指定-Pvendor-repos自动下载依赖pom**

<repositories>
            <repository>
                <id>cloudera repo</id>
                <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
            </repository>
            <repository>
                <id>mvn repo</id>
                <url>https://mvnrepository.com</url>
            </repository>
            <repository>
                <id>vdc</id>
                <url>http://nexus.saas.hand-china.com/content/repositories</url>
            </repository>
            <repository>
                <id>horton-works-releases</id>
                <url>http://repo.hortonworks.com/content/groups/public/</url>
            </repository>
        </repositories>

**2. 编译 flink-1.9.1**

mvn -T4C clean install -DskipTests -Dfast -Pinclude-hadoop -Dhadoop.version=3.0.0-cdh6.2.0 -Dflink.shaded.version=7.0 -Dscala-2.11

** 3. 报错**：

/opt/flink2/flink-yarn/src/test/java/org/apache/flink/yarn/AbstractYarnClusterTest.java

在 flink-yarn 的 pom 文件 build 中添加忽略代码测试。

继续执行上次的编译

mvn -T4C clean install -DskipTests -Dfast -Pinclude-hadoop -Dhadoop.version=3.0.0-cdh6.2.0 -rf :flink-yarn_2.11 -Dflink.shaded.version=7.0 -Dscala-2.11

**4. 编译成功 **

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 2][]

编译完成，编译后的目录：

/flink/flink-dist/target/flink-1.9.1-bin/flink-1.9.1/

将目录打包上传至服务器即可。

## 附：**Maven 中央库** ##

**不正确的设置可能会导致无法下载相应依赖**

<mirrors>
            
            <mirror>
                <id>alimaven</id>
                <name>aliyun maven</name>
                <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
                <mirrorOf>central</mirrorOf>
            </mirror>
            <mirror>
                <id>nexus-aliyun</id>
                <name>aliyun maven</name>
                <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
                <mirrorOf>central</mirrorOf>
            </mirror>
            
            <mirror>
                <id>maven cn repo</id>
                <name>oneof the central mirrors in china</name>
                <url>http://maven.net.cn/content/groups/public/</url>
                <mirrorOf>central</mirrorOf>
            </mirror>
            <mirror>
                <id>maven repo</id>
                <name>Maven Repository Switchboard</name>
                <url>http://repo1.maven.org/maven2/</url>
                <mirrorOf>central</mirrorOf>
            </mirror>
            <mirror>
                <id>maven repo2</id>
                <mirrorOf>central</mirrorOf>
                <name>Human Readable Name for this Mirror.</name>
                <url>http://repo2.maven.org/maven2/</url>
            </mirror>
        </mirrors>

## 附: Flink1.10.0 编译 ##

与 Flink1.9.1相同，这里也是 windows 下编译。

阿里镜像站下载：[flink-shaded-10.0-src.tgz][]，[flink-1.10.0-src.tgz][]

**1. 编译 flink-shaded-10.0**

修改pom，编译

mvn clean install -DskipTests -Dhadoop.version=3.0.0-cdh6.2.0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 3][]

**2. 编译 flink-1.10.0**

删除pom中的测试模块

<modules>
        <module>flink-yarn-tests</module>
    </modules>

编译

mvn -T4C clean install -DskipTests -Dfast -Pinclude-hadoop -Dhadoop.version=3.0.0-cdh6.2.0 -Dflink.shaded.version=10.0 -Dscala-2.11

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 4][]

[Building Flink from Source]: https://ci.apache.org/projects/flink/flink-docs-release-1.10/flinkDev/building.html#dependency-shading
[Flink]: https://mirrors.aliyun.com/apache/flink/
[flink-1.9.1-src.tgz]: https://mirrors.aliyun.com/apache/flink/flink-1.9.1/flink-1.9.1-src.tgz
[flink-shaded-7.0-src.tgz]: https://mirrors.aliyun.com/apache/flink/flink-shaded-7.0/flink-shaded-7.0-src.tgz
[Flink1.9.1-CDH6.2]: https://pan.baidu.com/s/1SBIhEXAAlwqhGn2jTVofYA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70]: /images/20210923/c416a3afef6e4ff692e734a459e1b958.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 1]: /images/20210923/672c4038add3498e8e9b3233c8527c76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 2]: /images/20210923/fb80835cdc054ad08cbce469dd8b6d1b.png
[flink-shaded-10.0-src.tgz]: https://mirrors.aliyun.com/apache/flink/flink-shaded-10.0/
[flink-1.10.0-src.tgz]: https://mirrors.aliyun.com/apache/flink/flink-1.10.0/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 3]: /images/20210923/06feebde454043ca8d9de113a11d72f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmdlaW8_size_16_color_FFFFFF_t_70 4]: /images/20210923/0513730892e2449e848f640df24dcee9.png