轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.5 发展史

心已赠人 2024-03-16 13:04 46阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.5 发展史

![在这里插入图片描述][f8b8fd5139ce47cda33a33232c721fbd.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.5 发展史 ######

官网文档：[https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html][https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]

当然截至今天2023年5月15日，Flume 最新版本1.11.0

【Flume的发展史】

*  09/7 Flume 是从Cloudera诞生
    
    [https://www.cloudera.com/][https_www.cloudera.com]
    
    ![在这里插入图片描述][a59f90ce588e4501956158e9f3578a5e.png_pic_center]
 *  10/11 0.9.2 Flume-OG
 *  11/10 Flume-728 Flume-NG ==> Apache Flume
 *  12/7 Apache Flume 1.0
 *  …
 *  1.9

Flume是一个开源的、分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。它最初由Cloudera的一个团队开发，在2009年发布。Flume的设计目的是收集、聚合和传输大量的数据，特别是在数据中心环境下的日志数据。

Flume最初的版本是基于Chukwa的，Chukwa是Apache的一个子项目，也是一个日志采集系统。在Flume的设计中，它将数据分为不同的流，每个流都有不同的处理逻辑，可以通过Flume的拓扑结构灵活地配置和组合。

随着时间的推移，Flume的版本逐渐演化和改进，增加了更多的特性和功能，比如支持不同类型的数据源，多种协议的数据传输，可扩展的拓扑结构等。Flume也逐渐被越来越多的公司和组织所采用，成为大规模数据采集的常用工具之一。

目前，Flume已经成为Apache的一个顶级项目，拥有庞大的社区和用户群体。它仍在不断地发展和改进，未来可能会加入更多的特性和功能，以满足不断增长的数据采集需求。

![在这里插入图片描述][e222a637cdde4daeb6e4ae269543c668.png_pic_center]

根据时间节点：

Flume的发展史：

*  2009年：Flume 1.0发布，最初的版本是基于Chukwa的，设计用于数据中心环境下的海量日志采集和传输。
 *  2011年：Flume 1.1发布，增加了对多种协议（如HTTP、Thrift）的支持和一些新的插件，使得Flume更加灵活和可扩展。
 *  2012年：Flume 1.2发布，引入了Flume NG（Next Generation）的架构，支持事件驱动的数据传输和更加可扩展的拓扑结构，提高了性能和可靠性。
 *  2013年：Flume 1.3发布，引入了对Kafka的支持，可以将数据传输到Kafka消息队列中，增强了Flume与其他组件集成的能力。
 *  2014年：Flume 1.4发布，增加了对Avro和Netty的支持，提供更加高效和可靠的数据传输方式。
 *  2015年：Flume 1.5发布，引入了Interceptors，可以在数据传输过程中对数据进行转换和过滤，增强了Flume的灵活性。
 *  2016年：Flume 1.6发布，增加了对Elasticsearch和Apache Solr的支持，可以将数据传输到这些搜索引擎中进行检索和分析。
 *  2018年：Flume 1.8发布，引入了对自定义插件的支持，可以根据需要开发自己的Flume插件。
 *  2021年：Flume 1.9发布，增加了对Java 11的支持和一些新的特性，如异步I/O、多线程处理等，提高了Flume的性能和可靠性。

总的来说，Flume不断演化和改进，逐步增加了更多的特性和功能，提高了性能和可靠性，并且保持着广泛的应用和用户群体。

[f8b8fd5139ce47cda33a33232c721fbd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9ab9a9f62a154917ab2da099d94eea46.png
[https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]: https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html
[https_www.cloudera.com]: https://www.cloudera.com/
[a59f90ce588e4501956158e9f3578a5e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6341111fa49646cd9e12d95ed224d54f.png
[e222a637cdde4daeb6e4ae269543c668.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3e2d91bfe3ea4993b7336b248c28ae19.png