Oozie

川长思鸟来 2023-02-22 08:09 19阅读 0赞

### 文章目录 ###

*  一、Oozie简介
 *   *  1.1 Oozie功能模块
     *  1.2 Oozie工作流
 *  二、Oozie Cli命令
 *  三、Oozie的使用
 *   *  3.1 案例一：Oozie调度shell脚本
     *  3.2 案例二：Oozie逻辑调度执行多个Job
     *  3.3 案例三：Oozie调度MapReduce任务
     *  3.4 案例四：Oozie定时任务/循环任务

# 一、Oozie简介 #

`Oozie`英文翻译为：驯象人。一个基于工作流引擎的开源框架，由`Cloudera`公司贡献给`Apache`，提供对`Hadoop MapReduce`、`Pig Jobs`的任务调度与协调。`Oozie`需要部署到`Java Servlet`容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。

## 1.1 Oozie功能模块 ##

![在这里插入图片描述][20200702144310145.png]

*  **Workflow**：顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）
 *  **Coordinator**：定时触发workflow
 *  **Bundle**：绑定多个Coordinator

## 1.2 Oozie工作流 ##

`Oozie`工作流定义，同`JBoss jBPM`提供的`jPDL`一样，也提供了类似的流程定义语言`hPDL`，通过`XML`文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。

`Oozie`有两个常见节点：

*  **控制流节点（Control Flow Nodes）**：控制流节点一般都是定义在工作流开始或者结束的位置，比如`start`，`end`，`kill`等。以及提供工作流的执行路径机制，如`decision`，`fork`，`join`等。
 *  **动作节点（Action Nodes）**：负责执行具体动作的节点，比如：拷贝文件，执行某个`Shell`脚本等等。

`Oozie`本质就是一个作业协调工具（底层原理是通过将`XML`语言转换成`MapReduce`程序来做，但只是在集中`Map`端做处理，避免`Shuffle`的过程。）

执行`workflow`之前首先要进行相关配置：

*  **job.properties**：定义`job`相关属性以及参数
 *  **workflow.xml**：定义控制流和动作节点
 *  **lib**：存放job任务运行的相关资料文件`jar`

# 二、Oozie Cli命令 #

> 注意：使用Oozie之前必须先启动hdfs，yarn和jobhistory

**l 启动任务**

`oozie job -oozie oozie_url -config job.properties_address -run`

**l 停止任务**

`oozie job -oozie oozie_url -kill jobId -oozie-oozi -W`

**l 提交任务**

`oozie job -oozie oozie_url -config job.properties_address -submit`

**l 开始任务**

`oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi -W`

**l 查看任务执行情况**

`oozie job -oozie oozie_url -config job.properties_address -info jobId -oozie-oozi -W`

说明： 所有的命令都是以`oozie job -oozie oozie_url`开头的`-config`制定`job.properties`文件夹的位置，`-run`文件启动后会返回一个唯一的`jobId`，供之后使用。

访问`Oozie Web`页面：`http://hadoop100:11000/oozie/`  
![在这里插入图片描述][20200702151208814.png]

# 三、Oozie的使用 #

## 3.1 案例一：Oozie调度shell脚本 ##

① 创建工作目录

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ mkdir -p oozie-apps/shell

② 在该工作目录下创建`job.properties`和`workflow.xml`文件

[root@hadoop100 shell]$ touch workflow.xml
    [root@hadoop100 shell]$ touch job.properties

③ 编辑`job.properties`和`workflow.xml`文件

**job.properties**

#HDFS地址
    nameNode=hdfs://hadoop100:8020
    #ResourceManager地址
    jobTracker=hadoop101:8032
    #队列名称
    queueName=default
    examplesRoot=oozie-apps
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell

**workflow.xml**

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    
    <start to="shell-node"/>
    
    <action name="shell-node">
        
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            
            <exec>mkdir</exec>
            <argument>/opt/module/d</argument>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    
    <end name="end"/>
    </workflow-app>

④ 上传任务配置

[root@hadoop100 ~]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs \
    -put oozie-apps/ /user/root

⑤ 执行任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie \
    http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

⑥ 杀死某个任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie \
    http://hadoop102:11000/oozie -kill 0000004-170425105153692-oozie-z-W

进入`Oozie Web`页面，可以看到整个的执行流程：  
![在这里插入图片描述][20200702153233416.png]![在这里插入图片描述][20200702153314128.png]

## 3.2 案例二：Oozie逻辑调度执行多个Job ##

①编辑`job.properties`和`workflow.xml`文件

**job.properties**

**workflow.xml**

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
        <start to="p1-shell-node"/>
        <action name="p1-shell-node">
            <shell xmlns="uri:oozie:shell-action:0.2">
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                </configuration>
                <exec>mkdir</exec>
                <argument>/opt/module/d1</argument>
                <capture-output/>
            </shell>
            <ok to="p2-shell-node"/>
            <error to="fail"/>
        </action>
    
        <action name="p2-shell-node">
            <shell xmlns="uri:oozie:shell-action:0.2">
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                </configuration>
                <exec>mkdir</exec>
                <argument>/opt/module/d2</argument>
                <capture-output/>
            </shell>
            <ok to="end"/>
            <error to="fail"/>
        </action>
        <kill name="fail">
            <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <end name="end"/>
    </workflow-app>

②上传任务配置

[root@hadoop100 ~]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs \
    -rmr /user/root/oozie-apps
    [root@hadoop100 ~]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs \
    -put oozie-apps/shells /user/root/oozie-apps

③ 执行任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie \
    http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

## 3.3 案例三：Oozie调度MapReduce任务 ##

①`oozie-apps`下创建文件夹`map-reduce`，在该文件夹下创建`lib`目录，并将`MapReduce`官方案例移到该目录下

[root@hadoop100 oozie-apps]$ mkdir -p ./map-reduce/lib
    [root@hadoop100 lib]$ cp -a /opt/module/oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/lib/oozie-examples-4.0.0-cdh5.3.6.jar ./

② 编辑`job.properties`和`workflow.xml`文件

**job.properties**

nameNode=hdfs://hadoop100:8020
    jobTracker=hadoop101:8032
    queueName=default
    examplesRoot=oozie-apps
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/map-reduce/workflow.xml
    outputDir=map-reduce

**workflow.xml**

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf">
        <start to="mr-node"/>
        <action name="mr-node">
            <map-reduce>
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <prepare>
                    <delete path="${nameNode}/output/"/>
                </prepare>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                    
                    <property>
                        <name>mapred.mapper.new-api</name>
                        <value>true</value>
                    </property>
    
                    <property>
                        <name>mapred.reducer.new-api</name>
                        <value>true</value>
                    </property>
    
                    
                    <property>
                        <name>mapreduce.job.output.key.class</name>
                        <value>org.apache.hadoop.io.Text</value>
                    </property>
    
                    
                    <property>
                        <name>mapreduce.job.output.value.class</name>
                        <value>org.apache.hadoop.io.IntWritable</value>
                    </property>
    
                    
                    <property>
                        <name>mapred.input.dir</name>
                        <value>/input/</value>
                    </property>
    
                    
                    <property>
                        <name>mapred.output.dir</name>
                        <value>/output/</value>
                    </property>
    
                    
                    <property>
                        <name>mapreduce.job.map.class</name>
                        <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                    </property>
    
                    
                    <property>
                        <name>mapreduce.job.reduce.class</name>
                        <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                    </property>
    
                    <property>
                        <name>mapred.map.tasks</name>
                        <value>1</value>
                    </property>
                </configuration>
            </map-reduce>
            <ok to="end"/>
            <error to="fail"/>
        </action>
        <kill name="fail">
            <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <end name="end"/>
    </workflow-app>

③文件目录详情  
![在这里插入图片描述][20200703095358868.png]![在这里插入图片描述][20200703095422136.png]  
④ 上传任务配置

[root@hadoop100 map-reduce]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put ./ \
    /user/root/oozie-apps

⑤ 执行任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie \
    http://hadoop100:11000/oozie -config oozie-apps/map-reduce/job.properties -run

⑥ 任务执行完成  
![在这里插入图片描述][20200703095701223.png]![在这里插入图片描述][20200703095737574.png]

## 3.4 案例四：Oozie定时任务/循环任务 ##

① 检查当前时区为`GMT+0800`（上海/北京），若不是另行修改

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$  date -R
    Fri, 03 Jul 2020 10:14:13 +0800

② 配置`oozie-site.xml`文件，添加东八区属性

<property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>    
    </property>

③修改`js`框架中的关于时间设置的代码

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$  vi /oozie-server/webapps/oozie/oozie-console.js
    function getTimeZone() { 
        Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
        return Ext.state.Manager.get("TimezoneId","GMT+0800");
    }

④重启`oozie`服务，并重启浏览器  
![在这里插入图片描述][20200703101746722.png]  
⑤ 拷贝官方模板配置定时任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]# cp -r examples/apps/cron oozie-apps/

⑥ 编辑`job.properties`、`coordinator.xml`和`workflow.xml`文件

**job.properties**

nameNode=hdfs://hadoop100:8020
    jobTracker=hadoop101:8032
    queueName=default
    examplesRoot=oozie-apps
    
    oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron
    #start：必须设置为未来时间，否则任务失败
    start=2020-07-03T10:40+0800
    end=2020-07-03T10:50+0800
    workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron
    EXEC=p1.sh

**coordinator.xml**

<coordinator-app name="cron-coord" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">
            <action>
            <workflow>
                <app-path>${workflowAppUri}</app-path>
                <configuration>
                    <property>
                        <name>jobTracker</name>
                        <value>${jobTracker}</value>
                    </property>
                    <property>
                        <name>nameNode</name>
                        <value>${nameNode}</value>
                    </property>
                    <property>
                        <name>queueName</name>
                        <value>${queueName}</value>
                    </property>
                </configuration>
            </workflow>
        </action>
    </coordinator-app>

**workflow.xml**

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">
    <start to="shell-node"/>
      <action name="shell-node">
          <shell xmlns="uri:oozie:shell-action:0.2">
              <job-tracker>${jobTracker}</job-tracker>
              <name-node>${nameNode}</name-node>
              <configuration>
                  <property>
                      <name>mapred.job.queue.name</name>
                      <value>${queueName}</value>
                  </property>
              </configuration>
              <exec>${EXEC}</exec>
              <file>/user/root/oozie-apps/cron/${EXEC}#${EXEC}</file>
              <capture-output/>
          </shell>
          <ok to="end"/>
          <error to="fail"/>
      </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
    </workflow-app>

**p1.sh**

#!/bin/bash
    data >> /opt/module/p1.log

⑦ 上传任务配置

[root@hadoop100 cron]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put ./ \
    /user/root/oozie-apps

⑧ 执行任务

[root@hadoop100 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie \
    http://hadoop100:11000/oozie -config oozie-apps/cron/job.properties -run

注意：`oozie`允许的最小执行任务的频率是5分钟

⑨在52分、57分均定时执行了脚本  
![在这里插入图片描述][20200703105904895.png]

[20200702144310145.png]: https://img-blog.csdnimg.cn/20200702144310145.png
[20200702151208814.png]: https://img-blog.csdnimg.cn/20200702151208814.png
[20200702153233416.png]: https://img-blog.csdnimg.cn/20200702153233416.png
[20200702153314128.png]: https://img-blog.csdnimg.cn/20200702153314128.png
[20200703095358868.png]: https://img-blog.csdnimg.cn/20200703095358868.png
[20200703095422136.png]: https://img-blog.csdnimg.cn/20200703095422136.png
[20200703095701223.png]: https://img-blog.csdnimg.cn/20200703095701223.png
[20200703095737574.png]: https://img-blog.csdnimg.cn/20200703095737574.png
[20200703101746722.png]: https://img-blog.csdnimg.cn/20200703101746722.png
[20200703105904895.png]: https://img-blog.csdnimg.cn/20200703105904895.png