三、Azkaban 实例

绝地灬酷狼 2023-06-03 02:58 4阅读 0赞

**目录**

一、单一 job 案例

1、创建 job 描述文件

2、通过 azkaban 的 web 管理平台创建 project 并上传 job 的 zip 包

二、邮件通知配置

三、多 job 工作流案例

四、Java 操作任务

五、HDFS 操作任务

六、MapReduce 任务

七、Hive 脚本任务

--------------------

Azkaban 内置的**任务类型支持 command、 java**

# 一、单一 job 案例 #

## 1、创建 job 描述文件    ##

mkdir - p /opt/software/azkaban250/joba/single
    cd /opt/software/azkaban250/jobs/single
    vim single.job
    
    #填入如下内容
    #single.job
    type=command
    command=echo 'this is my single job'
    
    # 将 job 资源文件打包成 zip 文件
    zip first.zip first.job

**注意：**

*  目前， Azkaban 上传的工作流文件**只支持 xxx.zip 文件**。
 *  zip 应包**含 xxx.job 运行作业所需的文件和任何文件**（文件名后缀必须以.job 结尾，否则无法识别） 。
 *  **作业名称在项目中必须是唯一的**。

## 2、通过 azkaban 的 web 管理平台创建 project 并上传 job 的 zip 包 ##

**（1）首先创建 project**

![20191005151709483.png][]

**（2）上传 zip 包**

![20191005151731365.png][]

**（3）启动执行该 job**

![20191005151752772.png][]

**（4）点击执行工作流**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

**（5）点击继续**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1][]

**（6）Job 执行成功**

![20191005151855410.png][]

**（7） 点击查看 job 日志**

![20191005151914344.png][]

# 二、邮件通知配置 #

**1、修改配置文件**

修改 server 的 conf 下的 azkaban.properties 文件

# mail settings
    mail.sender=xxxx@163.com
    mail.host=smtp.163.com
    mail.user=sxp
    mail.password=xxxx
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false

**2、在网页上进行配置**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2][]

# 三、多 job 工作流案例 #

**1、 创建有依赖关系的多个 job 描述**

mkdir - p /opt/software/azkaban250/jobs/multi
    cd /opt/software/azkaban250/jobs/multi

**第一个 job： start.job**

vim start.job
    # job文件中添加内容
    #start.job
    type=command
    command=touch /opt/software/azkaban250/jobs/files/multi.txt

**第二个 job： step1.job 依赖 start.job**

vim step1.job
    # job文件中添加内容
    #step1.job
    type=command
    dependencies=start
    command=echo "this is step1 job"

**第三个 job： step2.job 依赖 start.job**

vim step2.job
    # job文件中添加内容
    #step2.job
    type=command
    dependencies=start
    command=echo "this is step2 job"

**第四个 job： finish.job 依赖 step1.job 和 step2.job**

vim finish.job
    # job文件中添加内容
    #finish.job
    type=command
    dependencies=step1,step2
    command=echo "this is finish job"

**2、将所有 job 资源文件打到一个 zip 包中**

zip multi.zip start.job step1.job step2.job finish.job

**3、在 azkaban 的 web 管理界面创建工程并上传 zip 包**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3][]

**4、启动工作流 flow**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4][]

**5、查看结果**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 5][]

# 四、Java 操作任务 #

使用 Azkaban 调度 java 程序

**1、编写 java 程序**

import java.io.IOException;
    public class AzkabanTest {
        public void run() throws IOException {
    // 根据需求编写具体代码
            FileOutputStream fos = new
                    FileOutputStream("/opt/module/azkaban/output.txt");
            fos.write("this is a java progress".getBytes());
            fos.close();
        }
        public static void main(String[] args) throws IOException {
            AzkabanTest azkabanTest = new AzkabanTest();
            azkabanTest.run();
        }
    }

**2、将 java 程序打成 jar 包，创建 lib 目录，将 jar 放入 lib 内**

mkdir -p /opt/software/azkaban250/jobs/java/lib
    cd /opt/software/azkaban250/jobs/java/lib

**3、编写 job 文件**

vim azkabanJava.job
    #azkabanJava.job
    type=javaprocess
    java.class=com.xiaohulu.azkaban.AzkabanTest
    classpath=/opt/software/azkaban250/jobs/java/lib/*

**4、将 job 文件打成 zip 包**

zip azkabanJava.zip azkabanJava.job

**5、通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包， 启动执行该 job**

# 五、HDFS 操作任务 #

**1）创建 job 描述文件**

mkdir -p /opt/software/azkaban250/jobs/hdfs
    cd /opt/software/azkaban250/jobs/hdfs
    vim hdfs.job
    #hdfs job
    type=command
    command=hdfs dfs -mkdir /azkaban

**2）将 job 资源文件打包成 zip 文件**

zip hdfs.zip hdfs.job

**3）通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包**

**4）启动执行该 job**

**5）查看结果**

# 六、MapReduce 任务 #

MapReduce 任务依然可以使用 Azkaban 进行调度

**1） 创建 job 描述文件，及 mr 程序 jar 包**

mkdir -p /opt/software/azkaban250/jobs/mr
    cd /opt/software/azkaban250/jobs/mr
    vim mr.job
    #mapreduce job
    type=command
    command=xxxx/hadoop-2.7.2/bin/hadoop jar xxxx/hadoop-2.7.2/share/hadoop/mapreduce/
    hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output

**2） 将所有 job 资源文件打到一个 zip 包中**

zip mr.zip mr.job

**3） 在 azkaban 的 web 管理界面创建工程并上传 zip 包**

**4） 启动 job**

**5）查看结果**

# 七、Hive 脚本任务 #

**1） 创建 job 描述文件和 hive 脚本**

（1）Hive 脚本： student.sql

mkdir -p /opt/software/azkaban250/jobs/hive
    cd /opt/software/azkaban250/jobs/hive
    vim student.sql
    # 填入内容
    use default;
    drop table student;
    create table student(id int, name string)
    row format delimited fields terminated by '\t';
    load data local inpath '/opt/xxx/student.txt' into table
    student;
    insert overwrite local directory '/opt/xxx/student'
    row format delimited fields terminated by '\t'
    select * from student;

**（2） Job 描述文件： hive.job**

vim hive.job
    # 填入内容
    #hive job
    type=command
    command=xxx/hive/bin/hive -f /opt/software/azkaban250/jobs/hive/student.sql

**2） 将所有 job 资源文件打到一个 zip 包中**

zip hive.zip hive.job

**3） 在 azkaban 的 web 管理界面创建工程并上传 zip 包**

**4） 启动 job**

**5）查看结果**

[20191005151709483.png]: /images/20230601/6c62adbcabf24780aee7bee82b9dcd3f.png
[20191005151731365.png]: /images/20230601/f48e9138a2f34b9c903e55514496e9a8.png
[20191005151752772.png]: /images/20230601/a5e83827f97e44fc82f2c62e8aa06d5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20230601/465250b8175e4982bb3a5c9ad13851f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/62995342027249ce9b1c50cecebc3f16.png
[20191005151855410.png]: /images/20230601/3ec136b5e81443b0b439b62c51da086d.png
[20191005151914344.png]: /images/20230601/c3ed6f5b76844a07bc576f72cbf3e2a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2]: /images/20230601/ae00be9ace9d41fc98699ea9a40079ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3]: /images/20230601/72d82fbc3f03466f897a1266aed94b9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 4]: /images/20230601/32f96713ebc1426096c34271123f07d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 5]: /images/20230601/3d9c0fa9fe924c538651232515d61ab6.png