azkaban的操作指南

今天药忘吃喽~ 2021-11-10 15:50 439阅读 0赞

# 前言： #

最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

# 1、工作流调度系统的优势 #

一个完整的数据分析系统通常都是由大量任务单元组成：  
shell脚本程序，java程序，mapreduce程序、hive脚本等

*  各任务单元之间存在时间先后及前后依赖关系
 *  为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

1.  通过Hadoop先将原始数据同步到HDFS上；
2.  借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3.  需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4.  将明细数据进行复杂的统计分析，得到结果报表信息；
5.  需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！

**工作流调度实现方式：**  
简单的任务调度：直接使用linux的crontab来定义；  
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

# 2、操作指南 #

## 2.1、首页简介 ##

![在这里插入图片描述][20190803143925159.png]

projects：最重要的部分，创建一个工程，所有flows将在工程中运行。  
scheduling:显示定时任务  
executing:显示当前运行的任务  
history:显示历史运行任务

## 2.2、创建单一job ##

概念介绍  
创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。

**1、Command 类型单一 job 示例**

*  首先创建一个工程，填写名称和描述
 *  之后点击完成后进入如下界面

![在这里插入图片描述][2019080314424899.png]

*  Flows：工作流程，有多个job组成
 *  Permissions:权限管理
 *  Project Logs:工程日志

**2、job的创建**  
创建job很简单，只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作，用来打印hello，名字叫做command.job

command.job
    type=command
    command=echo 'hello'

一个简单的job就创建好了，解释下，type的command，告诉azkaban用unix原生命令去运行，比如原生命令或者shell脚本，当然也有其他类型，后面说。一个工程不可能只有一个job，我们现在创建多个依赖job，这也是采用azkaban的首要目的。

**3、将 job 资源文件打包**  
注意：只能是zip格式  
**4、通过 azkaban web 管理平台创建 project 并上传压缩包**  
![在这里插入图片描述][20190803144721526.png]  
注意这里这里点击Execute Flow后可以执行定时任务，也可立即执行  
![在这里插入图片描述][20190803144907785.png]  
查看任务的执行情况  
![在这里插入图片描述][20190803144919379.png]

## 2.3、创建多job项目 ##

我们说过多个jobs和它们的依赖组成flow。怎么创建依赖，只要指定dependencies参数就行了。比如导入hive前，需要进行数据清洗，数据清洗前需要上传，上传之前需要从ftp获取日志。  
定义5个job：

1、o2o_2_hive.job：将清洗完的数据入hive库
    2、o2o_clean_data.job：调用mr清洗hdfs数据
    3、o2o_up_2_hdfs.job：将文件上传至hdfs
    4、o2o_get_file_ftp1.job：从ftp1获取日志
    5、o2o_get_file_fip2.job：从ftp2获取日志

依赖关系：  
3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。  
注意command写成执行sh脚本，建议这样做，后期只需维护脚本就行了（将python脚本放到shell脚本中执行便于维护），azkaban定义工作流程

o2o_2_hive.job
    
    type=command
    # 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程  
    command=sh /job/o2o_2_hive.sh 
    dependencies=o2o_clean_data
    retries=3 #失败重试3次
    retry.backoff=30000 #每次重试间隔，单位为毫秒
    
    o2o_clean_data.job
    
    type=command    
    # 执行sh脚本，建议这样做，后期只需维护脚本就行了，azkaban定义工作流程
    command=sh /job/o2o_clean_data.sh
    dependencies=o2o_up_2_hdfs
    
    o2o_up_2_hdfs.job
    
    type=command
     #需要配置好hadoop命令，建议编写到shell中，可以后期维护
    command=hadoop fs -put /data/*
    #多个依赖用逗号隔开
    dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2
    
    o2o_get_file_ftp1.job
    
    type=command
    command=wget "ftp://file1" -O /data/file1
    
    o2o_get_file_ftp2.job
    type=command
    command=wget "ftp:file2" -O /data/file2

<table> 
 <tbody> 
  <tr> 
   <td> 配置邮件接收者：在任务流Flow的最后一个.job中文件中添加如下内容 </td> 
  </tr> 
 </tbody> 
</table>

这样将邮箱接受者配置到job文件中便于管理和修改

#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
    failure.emails=AAAAAAA@126.com,BBBBB@163.com
    #任务执行成功发送邮件
    success.emails=AAAAA@126.com
    #任务执行完成，无论成功还是失败发送邮件
    notify.emails=BBBBBBB@126.com

可以运行unix命令，也可以运行python脚本（强烈推荐）。将上述job打成zip包。  
效果图（可以在下图中点击每个job，再次编辑job中的内容）  
![在这里插入图片描述][20190803145626562.png]  
点击o2o\_2\_hive进入流程，**azkaban流程名称以最后一个没有依赖的job定义的**。查看各个job间的依赖关系  
![在这里插入图片描述][2019080314572975.png]  
下图是配置执行当前流程或者执行定时流程。  
![在这里插入图片描述][20190803150013423.png]

Flow view：流程视图。可以禁用，启用某些job（这里想要单独运行某个job时，可以操作隐藏其他的依赖job）  
**Notification:定义任务成功或者失败是否发送邮件**  
Failure Options:定义一个job失败，剩下的job怎么执行  
Concurrent：并行任务执行设置  
Flow Parametters：参数设置。

参考：[https://blog.csdn.net/aizhenshi/article/details/80828726][https_blog.csdn.net_aizhenshi_article_details_80828726]  
参考：[https://www.jianshu.com/p/3b78164477e8][https_www.jianshu.com_p_3b78164477e8]

[20190803143925159.png]: /images/20211109/7f860364758f45d7b246831a69e6b686.png
[2019080314424899.png]: /images/20211109/ffb33977939c489cbca32ef161d7f254.png
[20190803144721526.png]: /images/20211109/d66ee0598c4b42598adc33cc462309f7.png
[20190803144907785.png]: /images/20211109/bc6ae9ad0c3648e2b1bd159e48894cf7.png
[20190803144919379.png]: /images/20211109/aecdeff0ffee42feabb8be5de9c7783f.png
[20190803145626562.png]: /images/20211109/ec8ac23faccf4925999b49a36e6f8e85.png
[2019080314572975.png]: /images/20211109/2272f04fce364ca590d099897a7790ba.png
[20190803150013423.png]: /images/20211109/df8773d154f34c7d8159cc114ae2f990.png
[https_blog.csdn.net_aizhenshi_article_details_80828726]: https://blog.csdn.net/aizhenshi/article/details/80828726
[https_www.jianshu.com_p_3b78164477e8]: https://www.jianshu.com/p/3b78164477e8