Oozie是什么？

淡淡的烟草味﹌ 2022-02-02 15:37 222阅读 0赞

**但是，一般用Azkaban了。（具体见我写的另一篇博客：）**

官网：[https://oozie.apache.org/][https_oozie.apache.org]

![855959-20170508092830629-988712430.png][]

**Oozie** is a workflow scheduler system to **manage Apache Hadoop jobs**.

**Oozie Workflow jobs** are **Directed Acyclical Graphs (DAGs)**of actions.

**Oozie Coordinator jobs**are **recurrent Oozie Workflow jobs** triggered by **time (frequency) and data availability**.

**Oozie** is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the box (such as **Java map-reduce, Streaming map-reduce, Pig, Hive, Sqoop and Distcp**) as well as system specific jobs (such as **Java programs and shell scripts)**.

**Oozie**is a **scalable, reliable and extensible system**.

一个Oozie的job，是一个mapreduce程序，特殊点呢，仅仅是只有Map Task。

Oozie是用于 Hadoop 平台的开源的工作流调度引擎。  
是用来管理Hadoop作业。  
是属于web应用程序，由Oozie client和Oozie Server两个组件构成。  
Oozie Server运行于Java Servlet容器（Tomcat）中的web程序。

**Oozie起源于雅虎**，主要用于管理与组织Hadoop工作流。Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。

![855959-20161130140541459-346379508.png][] ![855959-20161130140634615-488918453.png][]

![855959-20161130140651224-1650866408.png][]

![855959-20161130145652162-1499604114.png][]

![复制代码][copycode.gif]

<workflow-app xmlns="uri:oozie:workflow:0.3" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
    <shell xmlns="uri:oozie:shell-action:0.1">
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <configuration>
    <property>
    <name>mapred.job.queue.name</name>
    <value>${queueName}</value>
    </property>
    </configuration>
    <exec>echo</exec>
    <argument>hi shell in oozie</argument>
    </shell>
    <ok to="end"/>
    <error to="fail"/>
    </action>
    <kill name="fail">
    <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
    </workflow-app>

![复制代码][copycode.gif]

**　Oozie简介**

现实业务中处理数据时不可能只包含一个MR操作，一般都是多个MR，并且中间还可能包含多个Java或HDFS，甚至是shell的操作，利用Oozie可以完成这些任务。

实际上Oozie不是仅用来配置多个MR工作流的，它可以是各种程序夹杂在一起的工作流，比如执行一个MR1后，接着执行一个java脚本，再执行一个shell脚本，接着是Hive脚本，然后又是Pig脚本，最后又执行了一个MR2，使用Oozie可以轻松完成这种多样的工作流。使用Oozie时，若前一个任务执行失败，后一个任务将不会被调度。

![855959-20161130140259224-1496054397.png][]

**工作流调度框架Oozie**

*  工作流

import ->

hive -> export

*  调度

作业 / 任务 定时执行

事件触发执行

时间（比如说。每天晚上10点到凌晨2点之间，没半个小时运行一次。比如说，每周五的晚上8点触发一次）

数据集（比如说。某个目录文件下有数据，就触发一次）

**Oozie概述**![001.png-27.3kB][]

Oozie is a workflow scheduler system to manage Apache Hadoop jobs.

Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.

![855959-20170508101434613-1994867800.png][]

Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.

![855959-20170508101448347-558349857.png][]

Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the box (such as Java map-reduce, Streaming map-reduce, Pig, Hive, Sqoop and Distcp) as well as system specific jobs (such as Java programs and shell scripts).

![855959-20170508101501316-1624924115.png][]

Oozie is a scalable, reliable and extensible system.

1,一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop Mapreduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

2，Oozie工作流定义，同Jboss jBPM提供的jPDL一样，提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发，汇合等等。

3，Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes）,其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path）,如decision,fork,join等;而动作节点包括Haoop map\-reduce hadoop文件系统，Pig,SSH,HTTP,eMail和Oozie子流程

![855959-20170508101530863-1937004583.png][]

**Oozie Server Architecture**

![855959-20170508101559816-1075702690.png][]

Oozie Server Components

![855959-20170508101620926-46831509.png][]

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6117672.html，如需转载请自行联系原作者

[https_oozie.apache.org]: https://oozie.apache.org/
[855959-20170508092830629-988712430.png]: /images/20220202/895d48962465455b948deeaebec231a6.png
[855959-20161130140541459-346379508.png]: https://images2015.cnblogs.com/blog/855959/201611/855959-20161130140541459-346379508.png
[855959-20161130140634615-488918453.png]: /images/20220202/aeb4890fa0da4e0bb70d5f23540b5103.png
[855959-20161130140651224-1650866408.png]: /images/20220202/6780bf35f0b74ace8385abeda034203e.png
[855959-20161130145652162-1499604114.png]: /images/20220202/bd81f8c08fee48d892467d8c924d0fb7.png
[copycode.gif]: /images/20220202/98a6de3be98f4536bc1aef85dc120aa9.png
[855959-20161130140259224-1496054397.png]: /images/20220202/014508649d5e429e9c118ce7b5a89ec2.png
[001.png-27.3kB]: http://static.zybuluo.com/forrestxing/vbt7ua04iz6a3pobxsejqagy/001.png
[855959-20170508101434613-1994867800.png]: /images/20220202/9597ec51672b4fdfa25bd3b63036c3b3.png
[855959-20170508101448347-558349857.png]: /images/20220202/93b4ad6aedfc4dd2b2ef45c5fd4550e7.png
[855959-20170508101501316-1624924115.png]: /images/20220202/c35c9a7a02fb40f08f45e4f8826171a5.png
[855959-20170508101530863-1937004583.png]: /images/20220202/a773dcde858b4ad1acc5b702e509da8c.png
[855959-20170508101559816-1075702690.png]: /images/20220202/029a2099a591436990ed0f4455896f02.png
[855959-20170508101620926-46831509.png]: /images/20220202/073b77d42b9e49bfabcf55a0bc7482c3.png