flink项目开发-scala代码模板开发flink指南

﹏ヽ暗。殇╰゛Y 2022-05-30 10:38 238阅读 0赞

# scala代码开发flink指南 #

*  构建工具
 *  sbt【建议参考使用下面的maven，sbt模块暂时不做翻译】
 *  maven

1.  必须的依赖
2.  创建项目
3.  检查项目
4.  构建/编译项目

*  下一步

## 构建工具 ##

Flink项目可以使用不同的工具进行管理和编译。

sbt和maven

建议使用maven,因为目前大数据开发，工作中使用maven的比较多。

================maven=================

## 必须的依赖 ##

1：maven3.0.4(或者更高)

2：java8.x

## 创建项目 ##

使用下面的命令创建项目

使用maven命令

$ mvn archetype:generate                               \
          -DarchetypeGroupId=org.apache.flink              \
          -DarchetypeArtifactId=flink-quickstart-scala      \
          -DarchetypeVersion=1.4.1

或者使用quickstart脚本

curl https://flink.apache.org/q/quickstart-scala.sh | bash

**其实也可以手工在idea或者eclipse中创建一个普通maven项目即可【只是创建项目中是空的，不包含flink测试代码，后期熟悉了以后可以自己手工创建项目即可，前期不熟悉的话还是参考官网步骤】**。

## 检查项目 ##

在你的工作目录中将会有一个新目录，如果你使用的是 curl 这种方式创建的项目，这个目录的名称就是 quickstart。否则，目录名称就是你指定的maven项目的 artifactId。

$ tree quickstart/
    quickstart/
    ├── pom.xml
    └── src
        └── main
            ├── resources
            │   └── log4j.properties
            └── scala
                └── org
                    └── myorg
                        └── quickstart
                            ├── BatchJob.scala
                            └── StreamingJob.scala

这个实例项目是maven项目，它包含两个class，StreamingJob 和 BatchJob是DataStream和DataSet程序的两个基本实现。main方法是程序的入口，既可以进行测试也可以正式执行。

我们推荐你把这个项目导入到你的IDE中进行开发和测试。

IntelliJ IDEA 原生支持maven和scala开发。根据我们的经验，IntelliJ 提供了最好的flink开发环境体验。

如果使用eclipse，你需要安装下面插件，你可以根据eclipse提供的更新站点安装。

*  Eclipse 4.x

1.  [Scala IDE][]
2.  [m2eclipse-scala][]
3.  [Build Helper Maven Plugin][]

*  Eclipse 3.8

1.  [Scala IDE for Scala 2.11][] or Scala IDE for Scala 2.10
2.  [m2eclipse-scala][]
3.  [Build Helper Maven Plugin][Build Helper Maven Plugin 1]

## 构建/编译项目 ##

如果你想对你的项目编译打包，进入你的项目根目录，执行 maven clean package 命令。【前提是你需要在你本机安装maven，并且配置M2\_HOME环境变量】。然后你将会在项目根目录的target目录下面看到打包好的jar包：target/<artifact-id>-<version>.jar

注意：如果你使用不同的class而不是使用streamingJob作为入口类，我们建议你在pom.xml文件中修改mainClass配置的类型。这样，flink程序在运行的时候就可以不用特意指定入口类了。

## 下一步 ##

编程应用程序！

如果你正在编写streaming流处理程序并且在想改写什么，可以看一看这个文档[Stream Processing Application Tutorial][]

如果你正在编写batch批处理程序并且在想改写什么，可以看一看这个文档[Batch Application Examples][]

如果想查看API的完整描述信息，可以看一看这两个API  [DataStream API][] 和 [DataSet API][]

如果你有任何问题，可以在我们的[邮件列表][Link 1]进行提问，我们非常乐意帮助你。

**获取更多大数据资料，视频以及技术交流请加群：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1NDcwNDM4MDAw_size_16_color_FFFFFF_t_70][]

[Scala IDE]: http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site
[m2eclipse-scala]: http://alchim31.free.fr/m2e-scala/update-site
[Build Helper Maven Plugin]: https://repo1.maven.org/maven2/.m2e/connectors/m2eclipse-buildhelper/0.15.0/N/0.15.0.201207090124/
[Scala IDE for Scala 2.11]: http://download.scala-ide.org/sdk/helium/e38/scala211/stable/site
[Build Helper Maven Plugin 1]: https://repository.sonatype.org/content/repositories/forge-sites/m2e-extras/0.14.0/N/0.14.0.201109282148/
[Stream Processing Application Tutorial]: https://ci.apache.org/projects/flink/flink-docs-release-1.4/quickstart/run_example_quickstart.html#writing-a-flink-program
[Batch Application Examples]: https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/batch/examples.html
[DataStream API]: https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/datastream_api.html
[DataSet API]: https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/batch/index.html
[Link 1]: http://mail-archives.apache.org/mod_mbox/flink-user/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h1NDcwNDM4MDAw_size_16_color_FFFFFF_t_70]: /images/20220530/7a6c87a260ce48e89ab9d8bc5765a423.png