Azkaban四个应用案例

男娘i 2022-06-12 09:45 134阅读 0赞

# Azkaban四个应用案例 #

Azkaba内置的任务类型支持command、java

## 案例一（单个job） ##

1 创建job描述文件

#command.job
    type=command 
    command=echo 'hello'

2 将job资源文件打包成zip文件  
3 通过azkaban的web管理平台创建project并上传job压缩包

> 首先创建project  
> ![azkaban1.png][]  
> 上传zip包  
> ![azkaban2.png][]

4 启动执行该job  
![azkaban3.png][]

## 案例二（多job工作流flow） ##

1 创建有依赖关系的多个job描述

--------------------

第一个job：foo.job

#foo.job
    type=command
    command=echo foo

第二个job：bar.job依赖foo.job

# bar.job
    type=command
    dependencies=foo
    command=echo bar

2 将所有job资源文件打到一个zip包中  
![azkaban4.png][]

3 在azkaban的web管理界面创建工程并上传zip包

## 案例三（HDFS操作任务） ##

1 创建job描述文件

# fs.job
    type=command
    command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz

2 将job资源文件打包成zip文件  
![azkaban5.png][]

3 通过azkaban的web管理平台创建project并上传job压缩包  
4 启动执行该job

## 案例四（MAPREDUCE任务） ##

MR任务依然可以使用command的job类型来执行

1 创建job描述文件及mr程序jar包（示例中直接使用hadoop自带的example jar）

# mrwc.job
    type=command
    command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout

2 将job资源文件打包成zip文件  
![azkaban6.png][]  
3. 通过azkaban的web管理平台创建project并上传job压缩包  
4. 启动执行该job

[azkaban1.png]: /images/20220612/fd692ac66d3e4a7cb45836ed8cd0c943.png
[azkaban2.png]: /images/20220612/f4364dccd89049a48dde9af30428b49e.png
[azkaban3.png]: /images/20220612/6942d76bb14541d88165b4aab6ea86ca.png
[azkaban4.png]: /images/20220612/ccb99c3f3aee497aa9c39dab171558cb.png
[azkaban5.png]: /images/20220612/e4e6792adca64ab48004143723c8c212.png
[azkaban6.png]: /images/20220612/52357f19ad9a41a88ca87c8d354f9966.png

发表评论取消回复

表情：

评论列表（有 0 条评论，134人围观）

还没有评论，来说两句吧...

相关阅读

相关 Azkaban (二) --------- Azkaban 入门

目录一、集群模式安装 1. 上传 tar 包 2. 配置 MySQL 3. 配置 Executor Server

àì夳堔傛蜴生んèń/ 2024年04月01日 12:05/ 0 赞/ 62 阅读

相关 Azkaban (一) --------- Azkaban 概论

目录一、为什么需要工作流调度系统二、常见工作流调度系统三、Azkaban 与 Oozie 对比 -------------------- 一

末蓝、/ 2024年04月01日 12:05/ 0 赞/ 53 阅读

相关 azkaban --- 案例实操

目录案例一：输出Hello World 案例二：作业依赖案例三：内嵌工作流案例四：自动失败案例五：手动失败案例六：JavaProcess

蔚落/ 2024年03月22日 17:14/ 0 赞/ 113 阅读

相关案例实操：Azkaban调度spark作业

新建AccessLogDriverCluster类 ![img][] package com.it19gong.clickproject;

柔情只为你懂/ 2023年10月03日 15:36/ 0 赞/ 9 阅读

相关四、Azkaban调度Shell脚本

需求：通过Azkaban 调用 shell脚本，将当前时间追加到指定目录的date.txt文件中 1、Liux下创建shell脚本 mkdir azkaban_sc

本是古典何须时尚/ 2023年06月03日 03:57/ 0 赞/ 22 阅读

相关四、Azkaban调度Shell脚本

需求：通过Azkaban 调用 shell脚本，将当前时间追加到指定目录的date.txt文件中 1、Liux下创建shell脚本 mkdir azkaban_sc

我会带着你远行/ 2023年06月03日 03:57/ 0 赞/ 4 阅读

相关 Azkaban配置Work Flow案例实操

Work Flow案例实操目录 Work Flow案例实操 1. Yarm语法简介 2. HelloWorld案例

Love The Way You Lie/ 2023年01月06日 11:38/ 0 赞/ 173 阅读

相关 Azkaban

Azkaban 1. 概述 1.1 为什么要是用工作流调度系统 1.2 工作流的实现方式以及常见的工作流调度系统 2. Azkaba

- 日理万妓/ 2022年12月16日 05:55/ 0 赞/ 181 阅读

相关 Azkaban四个应用案例

Azkaban四个应用案例 Azkaba内置的任务类型支持command、java 案例一（单个job） 1 创建job描述文件 command.job

男娘i/ 2022年06月12日 09:45/ 0 赞/ 135 阅读

相关第一个SpringMVC应用（四）

从第一个SpringMVC应用（三）中修改。从 Spring2.5开始新增了基于注解的控制器,也就是说控制器不用实现 Controller接口。第一步： Co

今天药忘吃喽~/ 2021年09月28日 15:28/ 0 赞/ 381 阅读