史上最完整的AirFlow2.1.2版本安装教程

左手的ㄟ右手 2022-09-05 05:16 1027阅读 0赞

hello，大家好，我是阿周，上周我们讲解了AirFlow的一些基本概念，请看文章：[学会AirFlow调度工作流平台，让你告别加班，老板还会升值加薪][AirFlow]，但是只知道理论知识是不行的，所以接下来我将带领大家一块安装部署，通过实战学会airflow。

# **1、Anaconda环境准备** #

由于Airflow2.1.2版本依赖于python3高阶版本，但是服务器中一般默认python2.7.5版本，如下图：

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2]

所以，我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。

### 1.1、 下载miniconda版本 ###

yum install -y wget
    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.s

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 1]

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 2]

### 1.2 安装 minicopnda ###

直接在服务器中安装下载的miniconda

sh Miniconda3-latest-Linux-x86_64.sh

### 1.3、 一直按 enter 键，然后输入 yes，最后输入n ###

### 1.4 配置conda环境变量 ###

1.4.1 配置conda环境变量

vi /etc/profile

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 3]

#刷新配置
    source /etc/profile

### 1.5、 配置conda 镜像源 ###

conda config --set show_channel_urls yes
    vi  ~/.condarc
    ##添加下面内容

channels:
      - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
      - defaults
    show_channel_urls: true

### 1.6、 安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略） ###

pip install jupyter

### 1.7、 配置jupyter ###

""" 第一步 生成配置文件 """
    jupyter notebook --generate-config --allow-root     //配置文件生成在：/root/.jupyter/jupyter_notebook_config.py
    """ 第二步 生成密码 """
    jupyter notebook password       //密码设置的是 123456  自己设置   文件生成在 /root/.jupyter/jupyter_notebook_config.json
    """ 第三步 编辑/root/.jupyter/jupyter_notebook_config.py文件 """
    vim  /root/.jupyter/jupyter_notebook_config.py
    c.NotebookApp.ip = '192.168.244.161'
    c.NotebookApp.open_browser = False
    c.NotebookApp.port = 8888
    c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$Z4FzhnirRGrPwhwg2oWa9A$b5KuKRMr9l+zyK2I0W6KCA'
     //该密码在上面有生成

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 4]

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 5]

### 1.8、关闭防火墙 ###

systemctl stop firewall

# **2、Mysql数据库安装** #

在上面文章讲过，AirFlow只是一个调度平台，他的存储需要依赖于外部系统，官网建议使用Mysql作为存储，所以下面在服务器中安装mysql。

**依赖包提取方式：关注微信公众号：3分钟秒懂大数据，回复：数据库rpm包，即可免费获取下面截图的6个rpm包**

上传集群截图如下：

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 6]

### **2.1 查看自己的集群中是否安装mysql数据库** ###

rpm -qa | grep mysql

这个命令就会查看该操作系统上是否已经安装了mysql数据库

### **2.2 若安装，通过 remove 卸载** ###

yum -y remove  mysql

### **2.3 依次安装6个rpm包 安装命令如下：** ###

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
    
    
    rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
    
    
    rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
    
    
    rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
    
    
    rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
    
    
    rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

### **2.4 启动mysql,并设置开机自启动** ###

systemctl start mysqld
    systemctl enable mysqld

### **2.5 安装成功后 首先将数据库设置成无密码状态，需要修改配置** ###

vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态（**题外话** 如果想要左边有行号 输入 :set nu 就可以显示 ）

skip-grant-tables

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 7]

### **2.6 重启mysql服务器，保证生效** ###

systemctl restart mysqld

### **2.7 进入数据库，按enter键进入** ###

mysql -u root -p

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 8]

### **2.8 选择数据库** ###

use mysql;

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 9]

### **2.9 修改密码为 123456** ###

update user set authentication_string=password("123456") where user='root';

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 10]

### **2.10 刷新，并退出** ###

flush privileges;
    quit;

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 11]

### **2.11 重新进入数据库 ，设置密码，修改配置** ###

mysql -u root -p   密码123456

### **2.12 选择数据库** ###

use mysql;

**use mysql; 会报错， 说让你重新设置密码.执行下面这一步，设置密码：**

set password = PASSWORD('123456');

### **2.13 更新配置，刷新，退出** ###

ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
    flush privileges;
    quit;

### **2.14 再次登录数据库，创建airflow数据库** ###

mysql -u root -p  123456 
    use mysql;
    create database airflow default character set = 'utf8';

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 12]

### **2.15 对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作** ###

select host from user where user = 'root';
    update user set host='%' where user = 'root'; 
    set global explicit_defaults_for_timestamp =1;
    flush privileges; 
    quit;

### **2.16 设置允许外网访问当前的mysql** ###

2.16.1 上面安装数据库前关闭了防火墙，需要先打开防火墙

systemctl start firewalld
    systemctl status firewalld

2.16.2 目前防火墙是否对外开发了3306端口

firewall-cmd --list-all

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 13]

2.16.3 查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 14]

no 表示没有开放

2.16.4 开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 15]

2.16.5 重启防火墙

service firewalld restart

2.16.6 再次.查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

2.16.7 查看目前防火墙

firewall-cmd --list-all

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 16]

# **3、mysql-connector-java-5.1.39 上传整理** #

### **3.1、在对话框中都创建java目录** ###

mkdir /usr/share/java

### **3.2上传jar包，百度云如下：** ###

链接：  
https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA

提取码：c4hk

将mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下

### **3.3 修改jar名称** ###

mv mysql-connector-java-5.1.39.jar   mysql-connector-java.jar

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 17]

# **4、创建AirFlow环境** #

由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目

### 4.1、 新建AirFlow项目 。使用python3.7.5 ###

# 新建项目
    conda create -n airflow python==3.7.5
    #进入创建的airflow项目中
    source activate airflow

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 18]

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 19]

### 4.2、安装airflow依赖 ###

pip install apache-airflow
    pip install apache-airflow[mysql]

### 4.3、生成airflow映射目录 ###

airflow -h

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 20]

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 21]

### 4.4、 进入airflow目录中，修改airflow.cfg配置 ###

#配置连接mysql   30行
    sql_alchemy_conn = mysql://root:123456@192.168.244.182:3306/airflow
    
    #配置登录ip和端口号  460行
    web_server_host = 192.168.244.182
    
    #设置airflow用户名和密码
    #在[webserver]下面配置  447行
    authenticate = True
    auth_backend = airflow.contrib.auth.backends.password_auth

### 4.5、 执行命令，设置airflow登录页面用户名和密码 ###

#用户名：admin
    #邮箱 admin@qq.com
    #密码：admin
    airflow users create  --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin

### 4.6、 初始化airflow 数据库 ###

airflow db init

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 22]

### 4.7关闭防火墙 ###

systemctl stop firewalld
    systemctl disable firewalld

### 4.8、 启动airflow集群 ###

airflow webserver --port 8080

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 23]

### 4.9、 输入用户名admin,密码：admin ###

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 24]

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 25]

为回馈广大计算机爱好者，本博主专门整理了关于Java、大数据、算法、前端、人工智能、操作系统、网络等所学知识的书籍，如果看到此博文的小伙伴们，觉得对你有帮助，请关注微信公众号：**3分钟秒懂大数据**，回复：**福利**。就快速领取吧！

![史上最完整的AirFlow2.1.2版本安装教程][AirFlow2.1.2 26]

[AirFlow]: https://mp.weixin.qq.com/s?__biz=MzU4NjY4NDU0MQ==&mid=2247493351&idx=1&sn=d9e1f1dcec465fb4af11e6f6f1d3d314&chksm=fdf527f5ca82aee3d144fbd0c6d1394c792edbf3164f1e154f1f36620626cb2c1fcb71cbaa27&scene=21#wechat_redirect
[AirFlow2.1.2]: /images/20220829/f390dfc9bbc94bc4bbfdc432c64a35a9.png
[AirFlow2.1.2 1]: /images/20220829/97100d567ae54532a6fe27d5c02fb024.png
[AirFlow2.1.2 2]: /images/20220829/38eabc516e84483fa7350f2c68be6cfa.png
[AirFlow2.1.2 3]: /images/20220829/b933c82d074f43238021d4bd23dbf759.png
[AirFlow2.1.2 4]: /images/20220829/01c71c3e488b4b13850257a21571c2b6.png
[AirFlow2.1.2 5]: /images/20220829/4469f4718d554c4497b83d3b4578868c.png
[AirFlow2.1.2 6]: /images/20220829/30f1479addbb47fbac1e8fe71663bf1a.png
[AirFlow2.1.2 7]: /images/20220829/51849f50afee41e0a94c6cbc9b2a7125.png
[AirFlow2.1.2 8]: /images/20220829/37b08bba29ca450e860a0b2dcde74905.png
[AirFlow2.1.2 9]: /images/20220829/9d207e1774054d24bc288e2b4072f680.png
[AirFlow2.1.2 10]: /images/20220829/84f4c1ea6718467aa1b0b97f602694c7.png
[AirFlow2.1.2 11]: /images/20220829/bb539979c2ae4c2fbfbde3c468843158.png
[AirFlow2.1.2 12]: /images/20220829/fcd9d40ef32442ebb16cf13c83877b2a.png
[AirFlow2.1.2 13]: /images/20220829/c42f924c86d546e8b2dc724a3675dcea.png
[AirFlow2.1.2 14]: /images/20220829/5be614afaf1b48038dc1d3c8162583b2.png
[AirFlow2.1.2 15]: /images/20220829/62fa5684d905441da24302bb0110bbab.png
[AirFlow2.1.2 16]: /images/20220829/fa3910c35a7841e8b5bfa263428962ac.png
[AirFlow2.1.2 17]: /images/20220829/eae297c2d7aa49f7b23e003ce92c45e3.png
[AirFlow2.1.2 18]: /images/20220829/82be21a29f12462e93256bea5eb9174c.png
[AirFlow2.1.2 19]: /images/20220829/4dfb3c64d4604faaba00faa761e44743.png
[AirFlow2.1.2 20]: /images/20220829/55d5c4b9438946cfbca89627680ac3e1.png
[AirFlow2.1.2 21]: /images/20220829/5222d639d97f469b81e4dc690e2b6229.png
[AirFlow2.1.2 22]: /images/20220829/f918369b43bf41b1bb4b56644d2190d5.png
[AirFlow2.1.2 23]: /images/20220829/c259a21cadaf48558b5f0f4217de187f.png
[AirFlow2.1.2 24]: /images/20220829/e6444bb767b34b6d864c7c7dd7a3091e.png
[AirFlow2.1.2 25]: /images/20220829/cd9df024a1f84e55af6bbed10a133e7f.png
[AirFlow2.1.2 26]: /images/20220829/a470fe50fe2e4ee0b2481fd1061c5cd1.png