《从0到1学习Flink》—— Flink 项目如何运行？

我会带着你远行 2022-01-14 01:01 206阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

### 前言 ###

之前写了不少 Flink 文章了，也有不少 demo，但是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，然后运行得。最开始在第一篇 [《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门][0_1_Flink_ Mac _ Flink 1.6.0] 中其实提到过了 Flink 自带的 UI 界面，今天我们就来看看如何将我们的项目打包在这里发布运行。

### 准备 ###

#### 编译打包 ####

项目代码就拿我之前的文章 [《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch][0_1_Flink_ Flink _ ElasticSearch] 吧，代码地址是在 GitHub 仓库地址：[https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-connectors/flink-learning-connectors-es6][https_github.com_zhisheng17_flink-learning_tree_master_flink-learning-connectors_flink-learning-connectors-es6] ，如果感兴趣的可以直接拿来打包试试水。

我们在整个项目 （flink-learning）pom.xml 所在文件夹执行以下命令打包：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1</pre> </td> 
   <td> <pre>mvn clean install</pre> </td> 
  </tr> 
 </tbody> 
</table>

[![006tNc79ly1fyw0covajbj31c00u0tl1.jpg][]][006tNc79ly1fyw0covajbj31c00u0tl1.jpg]

然后你会发现在 flink-learning-connectors-es6 的 target 目录下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 。

#### 启动 ES ####

注意你的 Kafka 数据源和 ES 都已经启动好了, 清空了下 ES 目录下的 data 数据，为了就是查看是不是真的有数据存入进来了。

[![006tNc79ly1fyw0yfu4l4j31j00u0n2x.jpg][]][006tNc79ly1fyw0yfu4l4j31j00u0n2x.jpg]

#### 提交 jar 包 ####

将此文件提交到 Flinkserver 上，如下图：

[![006tNc79ly1fyw0lxdgw1j313p0u0wm3.jpg][]][006tNc79ly1fyw0lxdgw1j313p0u0wm3.jpg]

点击下图红框中的”Upload”按钮：

[![006tNc79ly1fyw0mvikxwj31k30u0adu.jpg][]][006tNc79ly1fyw0mvikxwj31k30u0adu.jpg]

如下图，选中刚刚上传的文件，填写类名，再点击”Submit”按钮即可启动 Job：

[![006tNc79ly1fyw0w7d6e1j31pm0u0dns.jpg][]][006tNc79ly1fyw0w7d6e1j31pm0u0dns.jpg]

### 查看运行结果 ###

如下图，在 Overview 页面可见正在运行的任务：

[![006tNc79ly1fyw2j7idimj31e60u0aj2.jpg][]][006tNc79ly1fyw2j7idimj31e60u0aj2.jpg]

你可以看到 Task Manager 中关于任务的 metric 数据  
、日志信息以及 Stdout 信息。

[![006tNc79ly1fyw2nvk6y3j31co0u0hdo.jpg][]][006tNc79ly1fyw2nvk6y3j31co0u0hdo.jpg]

查看 Kibana ，此时 ES 中已经有数据了：

[![006tNc79ly1fyw2oxbc27j31fw0u01bu.jpg][]][006tNc79ly1fyw2oxbc27j31fw0u01bu.jpg]

我们可以在 flink ui 界面上的 overview cancel 这个 job，那么可以看到 job 的日志：

[![006tNc79ly1fyw3dfaergj31e00u07wh.jpg][]][006tNc79ly1fyw3dfaergj31e00u07wh.jpg]

[![006tNc79ly1fyw3f5alcij31i10u0dp1.jpg][]][006tNc79ly1fyw3f5alcij31i10u0dp1.jpg]

### 总结 ###

本篇文章写了下如何将我们的 job 编译打包并提交到 Flink 自带到 Server UI 上面去运行，也算是对前面文章的一个补充，当然了，Flink job 不仅支持这种模式的运行，它还可以运行在 K8s，Mesos，等上面，等以后我接触到再写写。

转载于:https://my.oschina.net/u/2935389/blog/3024030

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/61342ccf888b40a8bb4f4d1e6e266a32.png
[0_1_Flink_ Mac _ Flink 1.6.0]: http://www.54tianzhisheng.cn/2018/09/18/flink-install/
[0_1_Flink_ Flink _ ElasticSearch]: http://www.54tianzhisheng.cn/2018/12/30/Flink-ElasticSearch-Sink/
[https_github.com_zhisheng17_flink-learning_tree_master_flink-learning-connectors_flink-learning-connectors-es6]: https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-connectors/flink-learning-connectors-es6
[006tNc79ly1fyw0covajbj31c00u0tl1.jpg]: https://ws3.sinaimg.cn/large/006tNc79ly1fyw0covajbj31c00u0tl1.jpg
[006tNc79ly1fyw0yfu4l4j31j00u0n2x.jpg]: https://ws3.sinaimg.cn/large/006tNc79ly1fyw0yfu4l4j31j00u0n2x.jpg
[006tNc79ly1fyw0lxdgw1j313p0u0wm3.jpg]: https://ws1.sinaimg.cn/large/006tNc79ly1fyw0lxdgw1j313p0u0wm3.jpg
[006tNc79ly1fyw0mvikxwj31k30u0adu.jpg]: https://ws3.sinaimg.cn/large/006tNc79ly1fyw0mvikxwj31k30u0adu.jpg
[006tNc79ly1fyw0w7d6e1j31pm0u0dns.jpg]: https://ws3.sinaimg.cn/large/006tNc79ly1fyw0w7d6e1j31pm0u0dns.jpg
[006tNc79ly1fyw2j7idimj31e60u0aj2.jpg]: https://ws4.sinaimg.cn/large/006tNc79ly1fyw2j7idimj31e60u0aj2.jpg
[006tNc79ly1fyw2nvk6y3j31co0u0hdo.jpg]: https://ws4.sinaimg.cn/large/006tNc79ly1fyw2nvk6y3j31co0u0hdo.jpg
[006tNc79ly1fyw2oxbc27j31fw0u01bu.jpg]: https://ws3.sinaimg.cn/large/006tNc79ly1fyw2oxbc27j31fw0u01bu.jpg
[006tNc79ly1fyw3dfaergj31e00u07wh.jpg]: https://ws1.sinaimg.cn/large/006tNc79ly1fyw3dfaergj31e00u07wh.jpg
[006tNc79ly1fyw3f5alcij31i10u0dp1.jpg]: https://ws1.sinaimg.cn/large/006tNc79ly1fyw3f5alcij31i10u0dp1.jpg