轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.3 初识Flume及学习姿势

短命女 2024-03-16 13:03 14阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.3 初识Flume及学习姿势

![在这里插入图片描述][6a3105a6c4eb46889a1656220e019d80.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.3 初识Flume及学习姿势 ######

官网：[https://flume.apache.org/][https_flume.apache.org]

![在这里插入图片描述][34bbc0f9346f40f294bc41e3fa493bbf.png_pic_center]

再说一次介绍：

Flume 是一种分布式、可靠、可用的服务，用于高效收集、聚合和移动大量日志数据。它具有基于流式数据流的简单灵活的体系结构。它具有可调节的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错性。它使用允许在线分析应用程序的简单可扩展数据模型。

![在这里插入图片描述][1b3238f8350a4a968854fc1dfd36bc8c.png_pic_center]

Flume is a 
    distributed, 
    reliable, and available service 
    for efficiently 
    collecting,  收集   Event
    aggregating, 聚合   先把日志存储在某个地方  
    and moving   移动   目的地
    large amounts of log data.

并不是直接A —> B

It has a 
    simple  配置文件
    and 
    flexible architecture 灵活 
    based on streaming data flows

简单架构图：

![在这里插入图片描述][9919b84854634480b65d460874c968e5.png_pic_center]

*  Web Server：日志服务器【源 → Source 源端的数据】
 *  中间临时的某个地方：Channel (memory、disk、kafka… )
 *  Sink：【目的地】

Flume就是一个针对日志数据进行收集汇总的一个框架 A --> B

Flume：查字段 遇到什么查什么

一切要从官网出发

官方文档地址：[https://flume.apache.org/documentation.html][https_flume.apache.org_documentation.html]

![在这里插入图片描述][b64291e8025e4985ac6f18b42edd617d.png_pic_center]

![在这里插入图片描述][7ad172aba0cf4e4094f192c5f703ef7b.png_pic_center]

工作中的两大场景：

*  离线
    
    data ==> Flume ==> HDFS ==> 大数据分布式计算引擎
 *  实时
    
    data ==> Flume ==> Kafka ==> Stream Engine

data ==> Flume ==> Kafka ==> Stream Engine

==> Flume ==> HDFS ==> 大数据分布式计算引擎

![在这里插入图片描述][bfba28147aac463bae0d666cc11e2350.png_pic_center]

[https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html][https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]

OK， 今天是2023年5月15日，Flume 最新版本1.11.0

![在这里插入图片描述][b291373306e34e3fb824382b3851a712.png_pic_center]

这里面都有非常详细的介绍。

[6a3105a6c4eb46889a1656220e019d80.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e1b6813034de42f3b3f38bfe6e51b65b.png
[https_flume.apache.org]: https://flume.apache.org/
[34bbc0f9346f40f294bc41e3fa493bbf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/85b1c34366a145228dd415fcf03e9ffe.png
[1b3238f8350a4a968854fc1dfd36bc8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/254acdcf17d947888573eaa27cc612b6.png
[9919b84854634480b65d460874c968e5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f57da90b2b0446068e23fc473a542843.png
[https_flume.apache.org_documentation.html]: https://flume.apache.org/documentation.html
[b64291e8025e4985ac6f18b42edd617d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4f06026b55be47ba897e6ccba09b7e18.png
[7ad172aba0cf4e4094f192c5f703ef7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/42872e0833a04a1cb44a437e937ebe64.png
[bfba28147aac463bae0d666cc11e2350.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/bf9471a50000419390962896a8e3d47e.png
[https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]: https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html
[b291373306e34e3fb824382b3851a712.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fa4096cb89e64f769cd51948fa4059a3.png