[原创]-数据仓库任务调度

小咪咪 2022-12-21 15:56 148阅读 0赞

![format_png][]

## 概述 ##

随着数据仓库的开发，**ETL**作业会越来越多，怎么把这些作业有序的运行起来，就需要一个健壮的调度系统来保证数据能够准确、及时的提供给BI应用程序。

## 调度系统架构 ##

![format_png 1][]

*  ETL作业

数据仓库的ETL作业可能不至一种，需要把各种作业再次进行封装，建立作业的标准格式，统一作业的输入参数、输出参数和参数格式，达到所有的作业调度方式一致。

*  作业管理

提供便捷的作业配置和依赖关系配置页面。

*  作业调度

根据作业调度算法进行自动执行，如果发生异常情况可以进行人工重启和停止。

*  作业监控

对作业运行情况进行监控，发送邮件或者提供监控页面

## 常用的调度组件 ##

<table> 
 <thead> 
  <tr> 
   <th>组件名</th> 
   <th>属性标签</th> 
   <th>特性</th> 
   <th>使用场景</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>azkaban</td> 
   <td>调度工具</td> 
   <td>处理有依赖关系的复杂任务调度，只支持mysql存储基本信息</td> 
   <td>常用调度工具之一</td> 
  </tr> 
  <tr> 
   <td>crontab</td> 
   <td>linux自带调度工具</td> 
   <td>简单任务调度</td> 
   <td>适用日常少量调度</td> 
  </tr> 
  <tr> 
   <td>ooize</td> 
   <td>调度工具</td> 
   <td>处理复杂任务调度，但好像并不好用</td> 
   <td>大数据领域调度工具之一（Oozie, Azkaban,Cascading,Hamake）</td> 
  </tr> 
 </tbody> 
</table>

## 作业调度状态 ##

1.  初始化：把新添加的作业加入到执行计划中。
2.  待运行：根据时间和依赖关系把可执行的任务更新为待运行。
3.  运行中：把待运行的任务执行，更新为运行中。
4.  结束：作业运行完成，分为成功和失败。

![format_png 2][]

*扫描下方二维码*

*加入**优质社群**一起交流吧！*

![format_png 3][]

*如若二维码过期*

*请添加**小编微信**,回复关键词：\[**进群/加群**\],*

![format_png 4][]

**-今日互动-**

你用过哪些任务调度工具呢？

例如：Airflow

欢迎文章下方留言互动![format_png 5][]

如果对你有帮助的话

❤️来个「转发朋友圈」和「在看」，是最大的支持❤️

[format_png]: /images/20221120/c36feaed426845d0a2cc7468650b0f4a.png
[format_png 1]: /images/20221120/91ba258acc344b0aa303fe4b235c39e5.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LQ0R1SVR5UDBWemZiWmJ1RmZ5ZGpYZ3c3T1MweE9SUXJpY0hQSGF2NGliY3p2TVc0OXgwM3VvUGliZXRnbklSY2NHdDE4U3Q3bTdJZHN0OW0zM3YyaWJVOFEvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9xaWFTbDNSVDFSYzJ4RU5mVUZjdDVLNUZ6V053UHVFR3FCZG55MHk4TWliS2hGMHltTGFEcGpGaWJsQ05YcDRNMjFwSmljUHpoaWJDdlBxOUQ2NHdVYnMydjd3LzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9xaWFTbDNSVDFSYzIzVXpoaWM3RjhDOWlhV2hCRGJSOW1FYnZTeThRa0NMMUQ5OWF2dWliZWJVUGNucnVVNHl2MzNSTllaaWFhRlRFMWliOXh4M1NxaWNVeWlhWkhnLzY0MA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9xaWFTbDNSVDFSYzJ4RU5mVUZjdDVLNUZ6V053UHVFR3FSSG8zVktXelJjY3RhMkJYaWNHelRRdXNKc0RrWlZZS1BiUUFsY3dVUFA3M0tCYXhHUGV3NWR3LzY0MA?x-oss-process=image/format,png