Azkaban (三) --------- Azkaban 进阶

你的名字 2024-04-01 12:07 64阅读 0赞

#### 目录 ####

*  一、JavaProcess 作业类型案例
 *  二、 条件工作流案例
 *   *  1. 运行时参数案例
     *  2. 预定义宏案例
 *  三、定时执行案例
 *  四、邮件报警案例
 *   *  1. 注册邮箱
     *  2. 默认邮件报警案例
 *  五、电话报警案例
 *   *  1. 第三方告警平台集成
     *  2. 测试
 *  六、Azkaban 多 Executor 模式注意事项

--------------------

## 一、JavaProcess 作业类型案例 ##

JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaprocess，可用的配置为：

*  `Xms`：最小堆
 *  `Xmx`：最大堆
 *  `classpath`：类路径
 *  `java.class`：要运行的 Java 对象，其中必须包含 Main 方法
 *  `main.args`：main 方法的参数

案例：

**A、新建一个 azkaban 的 maven 工程**

**B、创建包名：com.fancy**

**C、创建 AzTest 类**

package com.fancy;
    public class AzTest {
        
    	public static void main(String[] args) {
        
    		System.out.println("This is for testing!");
    	}
    }

**D、打包成 jar 包 azkaban-1.0-SNAPSHOT.jar**

**E、新建 testJava.flow，内容如下**

nodes:
     - name: test_java
       type: javaprocess
       config:
         Xms: 96M
         Xmx: 200M
         java.class: com.atguigu.AzTest

**F、将 Jar 包、flow 文件和 project 文件打包成 javatest.zip**

**G、创建项目 ==> 上传 javatest.zip ==> 执行作业 ==> 观察结果**

![在这里插入图片描述][b29b313b45ef489ebd201d83508676f9.png]  
![在这里插入图片描述][9eedf479f12e4d35897f19abe5fa1add.png]  
![在这里插入图片描述][94100ccd5c1b4417a8bb267a43079713.png]

## 二、 条件工作流案例 ##

条件工作流功能允许用户自定义执行条件来决定是否运行某些 Job。条件可以由当前 Job 的父 Job 输出的运行时参数构成，也可以使用预定义宏。在这些条件下，用户可以在确定 Job 执行逻辑时获得更大的灵活性，例如，只要父 Job 之一成功，就可以运行当前 Job。

### 1. 运行时参数案例 ###

**A、基本原理**

*  父 Job 将参数写入 `JOB_OUTPUT_PROP_FILE` 环境变量所指向的文件
 *  子 Job 使用 `${jobName:param}` 来获取父 Job 输出的参数并定义执行条件

**B、支持的条件运算符**

*  `==` 等于
 *  `!=` 不等于
 *  `>` 大于
 *  `>=` 大于等于
 *  `<` 小于
 *  `<=` 小于等于
 *  `&&` 与
 *  `||` 或
 *  `!` 非

**C、案例**

需求：

*  JobA 执行一个 shell 脚本。
 *  JobB 执行一个 shell 脚本，但 JobB 不需要每天都执行，而只需要每个周一执行。

新建 JobA.sh

#!/bin/bash
    echo "do JobA"
    wk=`date +%w`
    echo "{
        \"wk\":$wk}" > $JOB_OUTPUT_PROP_FILE

新建 JobB.sh

#!/bin/bash
    echo "do JobB"

新建 condition.flow

nodes: 
     - name: JobA
       type: command
       config:
         command: sh JobA.sh
     - name: JobB
       type: command
       dependsOn:
        - JobA
       config:
        command: sh JobB.sh
       condition: ${JobA:wk} == 1

将 JobA.sh、JobB.sh、condition.flow 和 azkaban.project 打包成 condition.zip

创建 condition 项目 ==> 上传 condition.zip 文件 ==> 执行作业 ===> 观察结果

按照我们设定的条件，JobB 会根据当日日期决定是否执行。

![在这里插入图片描述][9aadc9c554154a7bad63a9e8a8813cb8.png]

### 2. 预定义宏案例 ###

Azkaban 中预置了几个特殊的判断条件，称为预定义宏。

预定义宏会根据所有父 Job 的完成情况进行判断，再决定是否执行。可用的预定义宏如下：

*  `all_success`: 表示父 Job 全部成功才执行(默认)
 *  `all_done`：表示父 Job 全部完成才执行
 *  `all_failed`：表示父 Job 全部失败才执行
 *  `one_success`：表示父 Job 至少一个成功才执行
 *  `one_failed`：表示父 Job 至少一个失败才执行

**A、案例**

需求：

*  JobA 执行一个 shell 脚本
 *  JobB 执行一个 shell 脚本
 *  JobC 执行一个 shell 脚本，要求 JobA、JobB 中有一个成功即可执行

新建 JobA.sh

#!/bin/bash
    echo "do JobA"

新建 JobC.sh

#!/bin/bash
    echo "do JobC"

新建 macro.flow

nodes:
    - name: JobA
      type: command
      config:
        command: sh JobA.sh
    - name: JobB
      type: command
      config:
        command: sh JobB.sh
    - name: JobC
      type: command
      dependsOn:
       - JobA
       - JobB
      config:
        command: sh JobC.sh
      condition: one_success

JobA.sh、JobC.sh、macro.flow、azkaban.project 文件，打包成 macro.zip。

> 注意：没有 JobB.sh。

创建 macro 项目 ==> 上传 macro.zip 文件 ==> 执行作业 ==> 观察结果

![在这里插入图片描述][58ef34b0c8c54fbfadcdce7bb5b72168.png]

## 三、定时执行案例 ##

需求：JobA 每间隔 1 分钟执行一次；

具体步骤：

A、Azkaban 可以定时执行工作流。在执行工作流时候，选择左下角 Schedule

![在这里插入图片描述][3b0a374e2a944615bc1872136b723bcc.png]

B、右上角注意时区是上海，然后在左面填写具体执行事件，填写的方法和 crontab 配置定时任务规则一致。

![在这里插入图片描述][3810e95b8b9f43df9b2bff580ad5d73a.png]  
![在这里插入图片描述][c3fe882bd51d4ab29d7099f2c463bf69.png]

C、观察结果

![在这里插入图片描述][0fab2a80d20b4ffbb2619246925a5bc6.png]  
![在这里插入图片描述][3e83fe8a70834b598f26f4e8aaafbf1f.png]

D、删除定时调度

点击 remove Schedule 即可删除当前任务的调度规则。

![在这里插入图片描述][829d9e1a991f46f985e00f17f44d75b2.png]

## 四、邮件报警案例 ##

### 1. 注册邮箱 ###

A、申请注册一个 126 邮箱

B、点击邮箱账号 ==> 账号管理

![在这里插入图片描述][0ad98fcaddca45ccb057e83cbe8f1f11.png]

C、开启 SMTP 服务

![在这里插入图片描述][9f9eeb01840a4d859272a927cf8abf27.png]

D、一定要记住授权码

![在这里插入图片描述][156eb9d6bdc7410dbbdf087c1e97541e.png]

### 2. 默认邮件报警案例 ###

Azkaban 默认支持通过邮件对失败的任务进行报警，配置方法如下：

**A、在 azkaban-web 节 点 hadoop102 上，编辑** `/opt/module/azkaban/azkabanweb/conf/azkaban.properties`，修改如下内容：

[fancy@hadoop102 azkaban-web]$ vim /opt/module/azkaban/azkabanweb/conf/azkaban.properties

添加如下内容：

#这里设置邮件发送服务器，需要 申请邮箱，切开通 stmp 服务，以下只是例子
    mail.sender=fancy@126.com
    mail.host=smtp.126.com
    mail.user=fancy@126.com
    mail.password=用邮箱的授权码

**B、保存并重启 web-server**

[fancy@hadoop102 azkaban-web]$ bin/shutdown-web.sh
    [fancy@hadoop102 azkaban-web]$ bin/start-web.sh

**C、编辑 basic.flow**

nodes:
     - name: jobA
       type: command
       config:
        command: echo "This is an email test."

**D、将 azkaban.project 和 basic.flow 压缩成 email.zip**

**E、创建工程 ==>上传文件 ==> 执行作业 ==> 查看结果**

![在这里插入图片描述][2bf19dc6ea1241018f5d09379b9199f9.png]  
![在这里插入图片描述][6158880f1060412dab6cd39dff388442.png]  
![在这里插入图片描述][13d4841b3aae4ed09fd09fbbfb4886da.png]

**F、观察邮箱，发现执行成功或者失败的邮件**

![在这里插入图片描述][c7cc44b989b54f7aa0dbc2bd14da6663.png]

## 五、电话报警案例 ##

### 1. 第三方告警平台集成 ###

有时任务执行失败后邮件报警接收不及时，因此可能需要其他报警方式，比如电话报警。如有类似需求，可与第三方告警平台进行集成，例如睿象云。

**A、进入睿象云官网注册账号并登录**

官网地址：[https://www.aiops.com/][https_www.aiops.com]

![在这里插入图片描述][c21e8fadbe3048679032f827e255ffe0.png]

**B、集成告警平台，使用 Email 集成**

![在这里插入图片描述][a5376c9a9fd14182ae7aa35f42400a9b.png]  
![在这里插入图片描述][ef92bee6fcd34d8d99f264f824646d9a.png]

**C、获取邮箱地址，后边需将报警信息发送至该邮箱**

![在这里插入图片描述][249455309ffc472eae32ffef1aeb9afd.png]

**D、配置分派策略**

![在这里插入图片描述][5105ffc969344947a9610a07ce85e882.png]

**F、配置通知策略**

![在这里插入图片描述][76596443ccbc4c6faa93afc88612811e.png]  
![在这里插入图片描述][241e336765024c6da5b0d247238010b8.png]

### 2. 测试 ###

执行上一个邮件通知的案例，将通知对象改为刚刚集成第三方平台时获取的邮箱。

![在这里插入图片描述][45cca4a2841b4d2e97052c103b996e5e.png]

## 六、Azkaban 多 Executor 模式注意事项 ##

Azkaban 多 Executor 模式是指，在集群中多个节点部署 Executor。在这种模式下，Azkaban web Server 会根据策略，选取其中一个 Executor 去执行任务。

为确保所选的 Executor 能够准确的执行任务，我们须在以下两种方案任选其一，推荐使用方案二。

方案一：指定特定的 Executor（hadoop102）去执行任务。

A、在 MySQL 中 azkaban 数据库 executors 表中，查询 hadoop102 上的 Executor 的 id。

mysql> use azkaban;
    Reading table information for completion of table and column names
    You can turn off this feature to get a quicker startup with -A
    Database changed
    mysql> select * from executors;
    +----+-----------+-------+--------+
    | id | host | port | active |
    +----+-----------+-------+--------+
    | 1 | hadoop103 | 35985 | 1 |
    | 2 | hadoop104 | 36363 | 1 |
    | 3 | hadoop102 | 12321 | 1 |
    +----+-----------+-------+--------+
    3 rows in set (0.00 sec)

B、在执行工作流程时加入 useExecutor 属性，如下

![在这里插入图片描述][c45821a1f14a4e4b9962cc7fc1b2b2f7.png]  
方案二：在 Executor 所在所有节点部署任务所需脚本和应用。

[b29b313b45ef489ebd201d83508676f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a2fa8517b4fd4512a5a88c3f0ea12967.png
[9eedf479f12e4d35897f19abe5fa1add.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/6d0c2f8fbefc41d5b4e2c239e9e37f93.png
[94100ccd5c1b4417a8bb267a43079713.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e0a693fcb28044dca9d3341e6853d8d2.png
[9aadc9c554154a7bad63a9e8a8813cb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/63dad53125604789a38bfed288a528dd.png
[58ef34b0c8c54fbfadcdce7bb5b72168.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9f18aee8c77c4cfba532d118f4d4227a.png
[3b0a374e2a944615bc1872136b723bcc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2101d23e666c464da9a49303e9ac89a1.png
[3810e95b8b9f43df9b2bff580ad5d73a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/32523fb8358f4356ba58ad553de878a7.png
[c3fe882bd51d4ab29d7099f2c463bf69.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/34575c8f17bb42aaa724c8ed4b23f44b.png
[0fab2a80d20b4ffbb2619246925a5bc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9e7ed23c6b174c69b38ae0e9ff5fd954.png
[3e83fe8a70834b598f26f4e8aaafbf1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/857edb108aa3418d9a4f6b7ce5712ac9.png
[829d9e1a991f46f985e00f17f44d75b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1393a1b9aa1749998902fd799a40afdf.png
[0ad98fcaddca45ccb057e83cbe8f1f11.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f11228afa4e545668ad0ab3a7e91566a.png
[9f9eeb01840a4d859272a927cf8abf27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c69213bbbd43492b91b02cf6f54a3d7c.png
[156eb9d6bdc7410dbbdf087c1e97541e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e1bc395ead154e85aad0cb60c5282a6f.png
[2bf19dc6ea1241018f5d09379b9199f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b5724e74d130445291ddc173ba846c87.png
[6158880f1060412dab6cd39dff388442.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/aedb9710803f4054bfe3ce959626c08c.png
[13d4841b3aae4ed09fd09fbbfb4886da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d1584b3f02a84ad895d449a9078448a2.png
[c7cc44b989b54f7aa0dbc2bd14da6663.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3574450b0ec94cff9b97a7fa106242bb.png
[https_www.aiops.com]: https://www.aiops.com/
[c21e8fadbe3048679032f827e255ffe0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/26d5c1ff06e94385b7f9decc72b6f944.png
[a5376c9a9fd14182ae7aa35f42400a9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b5b4ad8354174fdb95689aa97e48ed5c.png
[ef92bee6fcd34d8d99f264f824646d9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2a57d9071ab94116849b202b7f0e0e5a.png
[249455309ffc472eae32ffef1aeb9afd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3eaf90dfae87450e8ae1d9b88cff0289.png
[5105ffc969344947a9610a07ce85e882.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/982612e90f0e494c8d1a773ec981325b.png
[76596443ccbc4c6faa93afc88612811e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/776fe0a055ce485c9f6d4af3b8ef7f2d.png
[241e336765024c6da5b0d247238010b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d8759dc447c64feeb82c49f2ca38479b.png
[45cca4a2841b4d2e97052c103b996e5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f060c7cdf1dd4c78ad755d592ea7ae8f.png
[c45821a1f14a4e4b9962cc7fc1b2b2f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b8b1879bd94b4bc7a8061e0345c8321c.png