通过zeppelin调用脚本，提交Flink任务

怼烎@ 2022-12-13 14:24 152阅读 0赞

一，环境准备，我们在一个节点上部署zeppelin跟Flink。

zeppelin配置（啥也没改）：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

二，在节点创建脚本

vim dwd-task2.sh

> \#bash
> 
> echo "开始dwd任务..."  
> $\{FLINK\_HOME\}/bin/flink run  -d -c com.sjb.dev.dwd.DwdEtl\_flatMap ./flink-neiwang-dev-1.0-SNAPSHOT-shade.jar  
> echo "任务开始执行......$0,$1,$3"

参考传参：[https://www.runoob.com/linux/linux-shell-passing-arguments.html][https_www.runoob.com_linux_linux-shell-passing-arguments.html]

三，执行zeppelin任务，查看结果

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

四，如果要跨越节点的话：

都是通过SSH脚本命令：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: /images/20221123/c70e43c00dcc472395df1493872628f6.png
[https_www.runoob.com_linux_linux-shell-passing-arguments.html]: https://www.runoob.com/linux/linux-shell-passing-arguments.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: /images/20221123/6a1acfd21f1d4a4dbe55530032800083.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: /images/20221123/429f6c28d55e419995b978f30d9b6e92.png

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink on zeppelin 初试2

先跟鸡哥打个广告，博客地址: [https://me.csdn.net/weixin\_47482194][https_me.csdn.net_weixin_47482194

比眉伴天荒/ 2023年03月01日 05:36/ 0 赞/ 1 阅读

相关 Flink on zeppelin 初试

再钉钉群下载安装包，编译好的。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmN

青旅半醒/ 2023年02月21日 06:39/ 0 赞/ 137 阅读

相关 Flink1.10任务提交流程分析(一)

Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流

短命女/ 2023年02月15日 13:56/ 0 赞/ 4 阅读

相关基于zeppelin，Flink操作hudi 草稿

目录声明 1，flink lib下面 2，zeppelin操作 -------------------- 声明测试是CDH环境 Flink 1.12

小鱼儿/ 2023年01月17日 07:46/ 0 赞/ 134 阅读

相关通过zeppelin调用脚本，提交Flink任务

一，环境准备，我们在一个节点上部署zeppelin跟Flink。 zeppelin配置（啥也没改）： ![watermark_type_ZmFuZ3poZW5naGVpdG

怼烎@/ 2022年12月13日 14:24/ 0 赞/ 153 阅读

相关 Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践

1,我们先看官网，一起从官网看起 [https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/d

矫情吗；*/ 2022年12月05日 12:21/ 0 赞/ 675 阅读

相关 Flink 几种checkpoint的姿势，脚本，web端，zeppelin

1，主要验证了一下flink on zeppelin checkpoint的这个功能，临时写了个案例去测试一下。 2，首先我们知道正常的checkpoint恢复取消的任务，我

秒速五厘米/ 2022年11月25日 05:24/ 0 赞/ 162 阅读

相关 Flink通过flink-yarn远程提交任务到yarn集群

public void crateStreamTaskByFlinkClient() { //flink的本地配置目录，为了得到flink的配置

港控/mmm°/ 2022年09月14日 01:47/ 0 赞/ 532 阅读

相关 Flink 任务打包、提交

一、Flink版本 flink-1.6.1-bin-hadoop26-scala\_2.11 -------------------- 二、Flink任务打包

浅浅的花香味﹌/ 2022年04月04日 09:58/ 0 赞/ 579 阅读

相关 Flink 远程提交任务 java.lang.ClassCastException LinkedMap

问题来源 Flink本地提交任务运行正常，然后打包成jar在远程的Flink上运行失败。注意：打包的jar不能通过java -jar 运行，即使你的jar和F

傷城~/ 2022年02月02日 23:09/ 0 赞/ 741 阅读