2.6.2 hadoop体系之离线计算-Azkaban工作流调度系统-Azkaban的安装（单服务模式+双服务模式）

蔚落 2022-12-24 03:00 247阅读 0赞

**目录**

1.编译源码得到安装包

1.1 azkaban-exec-server

1.2 azkaban-web-server

1.3 azkaban-solo-server

1.4 execute-as-user.c

1.5 数据库脚本文件

2.Azkaban 单服务模式安装

2.1 解压

2.2 修改配置文件

2.3 启动solo-server

2.4 浏览器页面访问8081

3.单服务模式下使用azkaban

3.1 创建项目

3.2 项目命名

3.3 创建job文件，并压缩

3.4 azkaban上传并执行任务

4.Azkaban 双服务模式安装与使用

4.1 数据库准备

4.2 解压软件包

4.3 安装SSL安全认证

4.4 安装azkaban web server

4.5 安装azkaban executor server

4.5.1 第一步：修改配置文件azkaban.properties

4.5.2 第二步：添加插件execute-as-user.c

4.5.3 第三步：修改配置文件commonprivate.properties

4.6 启动服务

4.6.1 第一步：启动azkaban exec server

4.6.2 第二步：激活我们的exec-server

4.6.3 第三步：启动azkaban-web-server

4.7 修改linux的时区问题

--------------------

# 1.编译源码得到安装包 #

我们这里选用azkaban3.51.0这个版本自己进行重新编译，编译完成之后得到我们需要的安装包进行安装。注意：我们这里编译需要使用jdk1.8的版本来进行编译，如果编译服务器使用的jdk版本是1.7的，记得切换成jdk1.8，我们这里使用的是jdk8u141这个版本来进行编译。

cd /export/softwares/
    wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
    tar ‐zxvf 3.51.0.tar.gz ‐C ../servers/
    cd /export/servers/azkaban‐3.51.0/
    yum ‐y install git
    yum ‐y install gcc‐c++
    ./gradlew build installDist ‐x test

编译完成后得到如下文件：

## 1.1 azkaban-exec-server ##

/export/servers/azkaban‐3.51.0/azkaban‐exec‐server/build/distributions

## 1.2 azkaban-web-server ##

/export/servers/azkaban‐3.51.0/azkaban‐web‐server/build/distributions

## 1.3 azkaban-solo-server ##

/export/servers/azkaban‐3.51.0/azkaban‐solo‐server/build/distributions

## 1.4 execute-as-user.c ##

azkaban two server模式下需要的C程序在这个路径下面

/export/servers/azkaban‐3.51.0/az‐exec‐util/src/main/c

## 1.5 数据库脚本文件 ##

/export/servers/azkaban‐3.51.0/azkaban‐db/build/install/azkaban‐db

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.Azkaban 单服务模式安装 #

Azkaban使用方式一般有三种：单服务模式、双服务模式、集群模式

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

单服务模式下所需软件 : azkaban-solo-server

## 2.1 解压 ##

azkaban 的solo server使用的是一个单节点的模式来进行启动服务的，只需要一个 **azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz**的安装包即可启动，所有的数据信息都是保存在**H2这个azkaban默认的数据当中**，上传我们的压缩包，然后修改配置文件启动即可。

cd /export/softwares
    tar ‐zxvf azkaban‐solo‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/

## 2.2 修改配置文件 ##

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT/conf

vim **azkaban.properties**

default.timezone.id=Asia/Shanghai

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

修改**commonprivate.properties配置文件**

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT/plugins/jobtypes

vim **commonprivate.properties**

execute.as.user=false
    memCheck.enabled=false

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

## 2.3 启动solo-server ##

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT
    bin/start‐solo.sh

## 2.4 浏览器页面访问8081 ##

浏览器页面访问 http://node03:8081/，出现下面东西，说明启动成功了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

# 3.单服务模式下使用azkaban #

需求：使用azkaban调度我们的shell脚本，执行linux的shell命令

## 3.1 创建项目 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

## 3.2 项目命名![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][] ##

## 3.3 创建job文件，并压缩 ##

创建普通文本文件 foo.job，文件内容如下：类型是command命令，打印hello world

type=command
    command=echo "hello world"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

## 3.4 azkaban上传并执行任务 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 8][]

![20201126173416192.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 9][]

#  4.Azkaban 双服务模式安装与使用 #

需要的工具：

Azkaban Web服务安装包 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

Azkaban执行服务安装包 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

编译之后的sql脚本 create-all-sql-0.1.0-SNAPSHOT.sql

C程序文件脚本 execute-as-user.c程序

## 4.1 数据库准备 ##

进入mysql的客户端执行以下命令

mysql ‐uroot ‐p

执行以下命令：

创建数据库azkaban，创建用户azkaban，赋予该用户相关权限以及更新权限，最后执行加载sql文件。

CREATE DATABASE azkaban;
    CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
    GRANT all privileges ON azkaban.* to 'azkaban'@'%' identified by
    'azkaban' WITH GRANT OPTION;
    flush privileges;
    use azkaban;
    source /export/software/create‐all‐sql‐0.1.0‐SNAPSHOT.sql;

## 4.2 解压软件包 ##

解压azkaban-web-server

cd /export/softwares
    tar ‐zxvf azkaban‐web‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/
    cd /export/servers
    mv azkaban‐web‐server‐0.1.0‐SNAPSHOT/ azkaban‐web‐server‐3.51.0

解压azkaban‐exec‐server

cd /export/softwares
    tar ‐zxvf azkaban‐exec‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/
    cd /export/servers
    mv azkaban‐exec‐server‐0.1.0‐SNAPSHOT/ azkaban‐exec‐server‐3.51.0

## 4.3 安装SSL安全认证 ##

安装ssl安全认证，允许我们使用https的方式访问我们的azkaban的web服务 密码一定要一个个的字母输入，或者粘贴也行。密码可以直接设置为azkaban，其他问题可以不用填写直接回车，另外最后我们需要输入yes，表示我们输入没有任何问题。

cd /export/servers/azkaban-web-server-3.51.0
    keytool -keystore keystore -alias jetty -genkey -keyalg RSA

## 4.4 安装azkaban web server ##

修改azkaban-web-server的配置文件

cd /export/servers/azkaban‐web‐server‐3.51.0/conf

vim azkaban.properties

# Azkaban Personalization Settings
    azkaban.name=Azkaban
    azkaban.label=My Azkaban
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    # Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=conf/azkaban‐users.xml
    # Loader for projects
    executor.global.properties=conf/global.properties
    azkaban.project.dir=projects
    # Velocity dev mode
    velocity.dev.mode=false
    # Azkaban Jetty server properties.
    jetty.use.ssl=true
    jetty.maxThreads=25
    jetty.port=8081
    jetty.ssl.port=8443
    jetty.keystore=/export/servers/azkaban‐web‐server‐3.51.0/keystore
    jetty.password=azkaban
    jetty.keypassword=azkaban
    jetty.truststore=/export/servers/azkaban‐web‐server‐3.51.0/keystore
    jetty.trustpassword=azkaban
    # Azkaban Executor settings
    # mail settings
    mail.sender=
    mail.host=
    # User facing web server configurations used to construct the user facing
    server URLs. They are useful when there is a reverse proxy between
    Azkaban web servers and users.
    # enduser ‐> myazkabanhost:443 ‐> proxy ‐> localhost:8081
    # when this parameters set then these parameters are used to generate
    email links.
    # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
    # azkaban.webserver.external_hostname=myazkabanhost.com
    # azkaban.webserver.external_ssl_port=443
    # azkaban.webserver.external_port=8081
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false
    cache.directory=cache
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    # Azkaban mysql settings by default. Users should configure their own
    username and password.
    database.type=mysql
    mysql.port=3306
    mysql.host=node03
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100
    #Multiple Executor
    azkaban.use.multiple.executors=true
    #azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemo
    ry,CpuStatus
    azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
    azkaban.executorselector.comparator.Memory=1
    azkaban.executorselector.comparator.LastDispatched=1
    azkaban.executorselector.comparator.CpuUsage=1
    azkaban.activeexecutor.refresh.milisecinterval=10000
    azkaban.queueprocessing.enabled=true
    azkaban.activeexecutor.refresh.flowinterval=10
    azkaban.executorinfo.refresh.maxThreads=10

## 4.5 安装azkaban executor server ##

### 4.5.1 第一步：修改配置文件**azkaban.properties** ###

cd /export/servers/azkaban‐exec‐server‐3.51.0/conf

vim **azkaban.properties**

# Azkaban Personalization Settings
    azkaban.name=Azkaban
    azkaban.label=My Azkaban
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    # Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=conf/azkaban‐users.xml
    # Loader for projects
    executor.global.properties=conf/global.properties
    azkaban.project.dir=projects
    # Velocity dev mode
    velocity.dev.mode=false
    # Azkaban Jetty server properties.
    jetty.use.ssl=true
    jetty.maxThreads=25
    jetty.port=8081
    jetty.keystore=/export/servers/azkaban‐web‐server‐3.51.0/keystore
    jetty.password=azkaban
    jetty.keypassword=azkaban
    jetty.truststore=/export/servers/azkaban‐web‐server‐3.51.0/keystore
    jetty.trustpassword=azkaban
    # Where the Azkaban web server is located
    azkaban.webserver.url=https://node03:8443
    # mail settings
    mail.sender=
    mail.host=
    # User facing web server configurations used to construct the user facing
    server URLs. They are useful when there is a reverse proxy between
    Azkaban web servers and users.
    # enduser ‐> myazkabanhost:443 ‐> proxy ‐> localhost:8081
    # when this parameters set then these parameters are used to generate
    email links.
    # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
    
    # azkaban.webserver.external_hostname=myazkabanhost.com
    # azkaban.webserver.external_ssl_port=443
    # azkaban.webserver.external_port=8081
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false
    cache.directory=cache
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    # Azkaban plugin settings
    azkaban.jobtype.plugin.dir=plugins/jobtypes
    # Azkaban mysql settings by default. Users should configure their own
    username and password.
    database.type=mysql
    mysql.port=3306
    mysql.host=node03
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100
    # Azkaban Executor settings
    executor.maxThreads=50
    executor.flow.threads=30

### 4.5.2 第二步：添加插件execute-as-user.c ###

将我们编译后的C文件execute-as-user.c 上传到这个目录来/export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes 或者直接将我们/export/softwares下面的文件拷贝过来也行。

cp /export/softwares/execute‐as‐user.c /export/servers/azkaban‐exec‐
    server‐3.51.0/plugins/jobtypes/

然后执行以下命令生成execute-as-user

yum ‐y install gcc‐c++
    cd /export/servers/azkaban‐exec‐server‐3.51.0/plugins/jobtypes
    gcc execute‐as‐user.c ‐o execute‐as‐user
    chown root execute‐as‐user
    chmod 6050 execute‐as‐user

### 4.5.3 第三步：修改配置文件commonprivate.properties ###

execute.as.user=false
    memCheck.enabled=false
    azkaban.native.lib=/export/servers/azkaban‐exec‐server‐3.51.0/plugins/jobtypes

最终生成如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 10][]

## 4.6 启动服务 ##

### 4.6.1 第一步：启动azkaban exec server ###

cd /export/servers/azkaban‐exec‐server‐3.51.0
    bin/start‐exec.sh

### 4.6.2 第二步：激活我们的exec-server ###

node03机器任意目录下执行以下命令

curl ‐G "node03:$(<./executor.port)/executor?action=activate" && echo

### 4.6.3 第三步：启动azkaban-web-server ###

cd /export/servers/azkaban‐web‐server‐3.51.0/
    bin/start‐web.sh

访问地址： https://node03:**8443**

## 4.7 修改linux的时区问题 ##

由于先前做好了时钟同步，所以不用担心时区问题，不需要修改时区了

注：先配置好服务器节点上的时区

1. 先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可

2. 拷贝该时区文件，覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/dcdd0c0ecc554f779c6bf2c545070430.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201126173656662.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201126172731591.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201126172812823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020112617301080.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201126173150343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201126173208103.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201126173327705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201126173402666.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[20201126173416192.png]: https://img-blog.csdnimg.cn/20201126173416192.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201126173425267.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201126175002271.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70