Atlas (三) --------- Atlas 使用

Myth丶恋晨 2024-04-01 14:25 68阅读 0赞

#### 目录 ####

*  前言
 *  一、Hive 元数据初次导入
 *   *  1. 导入 Hive 元数据
     *  2. 查看 Hive 元数据
 *  二、Hive 元数据增量同步
 *   *  1. 全流程调度
     *  2. 查看血缘依赖

--------------------

## 前言 ##

Atlas 的使用相对简单，其主要工作是同步各服务(主要是Hive) 的元数据，并构建元数据实体之间的关联关系，然后对所存储的元数据建立索引，最终未用户提供数据血缘查看及元数据检索等功能。

Atlas 在安装之初，需手动执行一次元数据的全量导入，后续 Atlas 便会利用Hive Hook 增量同步 Hive 的元数据。

--------------------

## 一、Hive 元数据初次导入 ##

Atlas 提供了一个 Hive 元数据导入的脚本，直接执行该脚本，即可完成 Hive元数据的初次全量导入。

### 1. 导入 Hive 元数据 ###

执行以下命令

[root@hadoop102 ~]# /opt/module/atlas/hook-bin/import-hive.sh

按提示输入用户名：admin，输入密码：admin

Enter username for atlas :- admin
    Enter password for atlas :-

等待片刻，出现以下日志，即表明导入成功

Hive Meta Data import was successful!!!

### 2. 查看 Hive 元数据 ###

搜索 hive\_table 类型的元数据，可已看到 Atlas 已经拿到了 Hive 元数据

![在这里插入图片描述][b50da5205c4844b6a37e651f63b51d56.png]

任选一张表查看血缘依赖关系 ：

发现此时并未出现期望的血缘依赖，原因是 Atlas 是根据 Hive 所执行的 SQL 语句获取表与表之间以及字段与字段之间的依赖关系的，例如执行`insert into table_a select * from table_b`语句，Atlas 就能获取 table\_a 与 table\_b 之间的依赖关系。此时并未执行任何 SQL 语句，故还不能出现血缘依赖关系。

![在这里插入图片描述][80c3d88bbad54e69b997c1749c18bf80.png]

## 二、Hive 元数据增量同步 ##

Hive 元数据的增量同步，无需人为干预，只要 Hive 中的元数据发生变化(执行 DDL 语句)，Hive Hook 就会将元数据的变动通知 Atlas。除此之外，Atlas 还会根据 DML 语句获取数据之间的血缘关系。

### 1. 全流程调度 ###

为查看血缘关系效果，此处使用 Azkaban 将数仓的全流程调度一次。

**A、新数据准备**

① 用户行为日志

启动日志采集通道，包括 Zookeeper，Kafka，Flume 等。

修改 hadoop102，hadoop103 两台节的 /opt/module/applog/application.yml文件，将模拟日期改为 2020-06-17 如下

#业务日期
    mock.date: "2020-06-17"

执行生成日志的脚本

# lg.sh

等待片刻，观察 HDFS 是否出现 2020-06-17 的日志文件

② 业务数据

修改 /opt/module/db\_log/application.properties，将模拟日期修改为2020-06-17，如下

#业务日期
    mock.date=2020-06-17

进入到 /opt/module/db\_log 路径，执行模拟生成业务数据的命令，如下

# java -jar gmall2020-mock-db-2021-01-22.jar

观察 mysql 的 gmall 数据中是否出现 2020-06-17 的数据

**B、启动 Azkaban**

注意需使用 azkaban 用户启动 Azkaban

①启动 Executor Server

在各节点执行以下命令，启动Executor

[root@hadoop102 ~]# sudo -i -u azkaban bash -c "cd /opt/module/azkaban/azkaban-exec;bin/start-exec.sh"
    [root@hadoop103 ~]# sudo -i -u azkaban bash -c "cd /opt/module/azkaban/azkaban-exec;bin/start-exec.sh"
    [root@hadoop104 ~]# sudo -i -u azkaban bash -c "cd /opt/module/azkaban/azkaban-exec;bin/start-exec.sh"

② 激活 Executor Server，任选一台节点执行以下激活命令即可

[root@hadoop102 ~]# curl http://hadoop102:12321/executor?action=activate
    [root@hadoop102 ~]# curl http://hadoop103:12321/executor?action=activate
    [root@hadoop102 ~]# curl http://hadoop104:12321/executor?action=activate

③ 启动Web Server

[root@hadoop102 ~]# sudo -i -u azkaban bash -c "cd /opt/module/azkaban/azkaban-web;bin/start-web.sh"

**C、全流程调度**

① 工作流参数  
![在这里插入图片描述][ced455fdb8bf42159d5813faff8f074b.png]  
② 运行结果

![在这里插入图片描述][0b8ffcf8cfa24030a155ccec6c4a2f07.png]

### 2. 查看血缘依赖 ###

此时在通过 Atlas 查看 Hive 元数据，即可发现血缘依赖

![在这里插入图片描述][4d8a162c30ad427a90919bec1ee25e19.png]

[b50da5205c4844b6a37e651f63b51d56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a1a59796ea3e4928842724ab6385f4bb.png
[80c3d88bbad54e69b997c1749c18bf80.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9babb708eb42479280d4958b55ef87be.png
[ced455fdb8bf42159d5813faff8f074b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e569c2752cc94eb0b3c4a5ac6acc65ce.png
[0b8ffcf8cfa24030a155ccec6c4a2f07.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a117178cc25b425bb3b1debe91446000.png
[4d8a162c30ad427a90919bec1ee25e19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/78a06b6b3ceb455283f231dab9d0a673.png