大数据生态圈框架集合

Dear 丶 2023-10-07 17:07 30阅读 0赞

**Flume框架**：是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于Flume构建高容错高可靠的分布式数据采集平台。  
日志源–>source–>channel–>sink–>HDFS

agent：就是一个JVM的进程，里面包含source，channel，sink

source:采集或读取日志的组件，不同的数据源使用不同的source

channel:缓冲区，让source和sink可以在不同速率上运行

sink:负责日志的写出的组件

event：在flume里面传输的是event传输单元，header和body组成，body 里面存放数据的字节数组，header里面默认空，需要手动添加

**Flume框架教程：**

[**大数据Flume教程丨大数据业务及数据采集和迁移需求**][Flume]

**Sqoop框架**：大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于  
Sqoop构建高性能的分布式数据迁移和同步平台。  
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目。

Sqoop2 的最新版本是 1.99.7。请注意，2 与 1 不兼容，且特征不完整，它并不打算用于生产部署。

Sqoop 原理：

将导入或导出命令翻译成 mapreduce 程序来实现，在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

**Sqoop框架教程**：

[**大数据Sqoop教程丨从零开始讲解大数据业务及数据采集和迁移需求**][Sqoop]

**Azkaban框架**：大数据调度系统构成，集成大数据计算任务构建大数据工作流，基于Azkaban构建实现企业级自动化任务开发。 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。  
Azkaban 下载地址：https://azkaban.github.io/downloads.html

它有如下功能特点：

兼容任何版本的hadoop；  
易于使用的web界面；  
简单工作流的上传；  
方便配置任务之间的依赖关系；  
调度工作流；  
模块化和可插拔的插件机制；  
认证/授权；  
能够杀死并重新启动工作流；  
失败和成功的电子邮件提醒；

**Azkaban框架教程：**

[**大数据Azkaban教程丨实现企业级自动化任务开发**][Azkaban]

**Oozie框架：**  
Oozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里，用户被允许创建向非循环图工作流程，其可以在并列 Hadoop 并顺序地运行。它由两部分组成：工作流引擎：一个工作流引擎的职责是存储和运行工作流程，由 Hadoop 作业组成：MapReduce, Pig, Hive.协调器引擎：它运行基于预定义的时间表和数据的可用性工作流程作业。Oozie可扩展性和可管理及时执行成千上万的工作流程(每个由几十个作业)的Hadoop集群。Oozie 也非常灵活。人们可以很容易启动，停止，暂停和重新运行作业。Oozie 可以很容易地重新运行失败的工作流。可以很容易重做因宕机或故障错过或失败的作业。甚至有可能跳过一个特定故障节点。

**Oozie教程：**

[**大数据生态圈辅助工具Oozie丨实现企业级自动化任务开发**][Oozie]

**Hue框架**：  
Hue是一个可快速开发和调试Hadoop生态系统，各种应用的一个基于浏览器的图形化用户接口。  
Hue可以干什么？  
访问HDFS和文件浏览  
通过web调试和开发hive以及数据结果展示  
查询solr和结果展示，报表生成  
通过web调试和开发impala交互式SQL Query  
spark调试和开发  
Pig开发和调试  
oozie任务的开发，监控，和工作流协调调度  
Hbase数据查询和修改，数据展示  
Hive的元数据（metastore）查询  
MapReduce任务进度查看，日志追踪  
创建和提交MapReduce，Streaming，Java job任务  
Sqoop2的开发和调试  
Zookeeper的浏览和编辑  
数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

**可视化分析利器之Hue教程**：

[**大数据Hue开发教程丨构建大数据可视化分析**][Hue]

[Flume]: https://www.bilibili.com/video/BV1tV411U7mu
[Sqoop]: https://www.bilibili.com/video/BV1vV411U7wU
[Azkaban]: https://www.bilibili.com/video/BV1DK4y1v7Ns
[Oozie]: https://www.bilibili.com/video/BV1KA411e7iB
[Hue]: https://www.bilibili.com/video/BV1TD4y1m7qe