Flink 学习笔记 4. Job的提交运行

谁借莪１个温暖的怀抱￠ 2023-01-10 10:19 213阅读 0赞

> Flink version: 1.11.3

# 1. 打包Job Jar #

将前面的流处理WordCount打包成jar包，入口类为 com.mit.wc.StreamWordCount

# ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70][] #

# 2. web UI 提交Job #

## 2.1 提交Jar包到JobManager, 并配置相应执行参数 ##

我这里是docker-compose启动的flink环境，所以监听的socket host是宿主机IP；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 1][]

## 2.2 可以通过 Show Plan 查看执行图 ##

执行图与并行度的设置有关，并行度的优先级顺序为 **算子设置的并行度 -> env设置的并行度 -> 提交Job时设置的并行度 -> TaskManager配置文件设置的并行度；**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 2][]

## 2.3 先在宿主机用nc启用一个8888的socket server，再运行job； ##

mit@mit:~$ nc -lk 8888

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 3][]

## 2.4 nc server 发送数据，查看效果  ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 4][]

可以看到，发送两条数据后，第一个task **Source: Socket Stream -> Flat Map** 已经成功执行，FlatMap算子成功将msg转换为4个Records发送到了下一个task，但是下一个task **Keyed Aggregation -> Sink: Print to Std. Out **的算子接收到了4个records却没有输出。

查看 JobManager LOG 发现存在异常 **java.util.concurrent.CompletionException: org.apache.flink.util.FlinkException: The file STDOUT does not exist on the TaskExecutor.**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 5][]

异常原因: 这里的flink环境是docker方式创建的，容器启动时的脚本 **/docker-entrypoint.sh **将在前台启动Flink进程（TaskExecutor和JobMaster）。这会导致Flink既不会将其STDOUT重定向到文件中，也不会将其记录到文件中。相反，Flink还是输出为STDOUT。 我们查看容器日志将可以看到 STDOUT 的内容

mit@mit:~$ docker logs flink-taskmanager-01

![20210123175451481.png][]

查看容器启动时的脚本内容，可以看到关于 **start-foreground** 的内容

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 6][]

解决方案：

**网上其他的解决方案是 修改 /docker-entrypoint.sh 启动命令，修改为 start 方式启动而不是 start-foreground，但试验了一下，这样修改后，容器起来后会自行退出，所以我这里的做法是 将STDOUT和STDERR重定向到Flink Home目录下的log文件夹下指定文件中，这样就能在WEB UI直接查看输出的内容了。**

查看 jobmanager 和 taskmanager 的启动方式

mit@mit:~$ docker ps
    CONTAINER ID   IMAGE                           COMMAND                  CREATED          STATUS          PORTS                              NAMES
    89cfd7fe1031   flink:1.11.3-scala_2.12-java8   "/docker-entrypoint.…"   20 minutes ago   Up 20 minutes   6121-6123/tcp, 8081/tcp            flink-taskmanager-01
    e79f78a239df   flink:1.11.3-scala_2.12-java8   "/docker-entrypoint.…"   20 minutes ago   Up 20 minutes   6123/tcp, 0.0.0.0:8081->8081/tcp   flink-jobmanager-01
    mit@mit:~$ docker exec -it flink-jobmanager-01 bash
    root@flink-jobmanager-01:/opt/flink# ./bin/jobmanager.sh --help
    Usage: jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
    root@flink-jobmanager-01:/opt/flink# ./bin/taskmanager.sh --help
    Usage: taskmanager.sh (start|start-foreground|stop|stop-all)
    root@flink-jobmanager-01:/opt/flink#

修改 **/docker-entrypoint.sh**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 7][]

使用新的**docker-entrypoint.sh替换容器内的docker-entrypoint.sh即可。**

**重新提交Job，在WEB UI中查看STD.log**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 8][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70]: /images/20221119/c016621b94254d20b38523f79a836edf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 1]: /images/20221119/c44f6f622a804a36945650a0d80c7375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 2]: /images/20221119/42da262ba3674edfb0e2ee302819b8e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 3]: /images/20221119/c96930123e254fc598e62f4bfe92a7bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 4]: /images/20221119/a46115e1bc474d5ca54f8e4f7460a1d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 5]: /images/20221119/c9d13e7450634a1e9f83a61a0c710bac.png
[20210123175451481.png]: /images/20221119/514410ca4ea0418987794b9660fd9d2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 6]: /images/20221119/34a9754fdebf43e3aadef7d256716567.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 7]: /images/20221119/38a736e6e02a4a3cb9345e368a246274.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIzODYyNQ_size_16_color_FFFFFF_t_70 8]: /images/20221119/92f0448fadd442788fb065f8c8855d1c.png