【Apache Flume】Apache Flume分布式日志采集服务概述及环境搭建

约定不等于承诺〃 2023-10-05 13:56 18阅读 0赞

#### Apache Flume ####

*   *  概述
     *  架构
     *  Flume环境搭建

### 概述 ###

Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本`Flume 0.9X`版本的统称`Flume-og`，`Flume1.X`版本的统称`Flume-ng`。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。本次使用的是`apache-flume-1.9.0-bin.tar.gz`

### 架构 ###

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gFk0JSIA-1605757146692)(assets/20201021093100281.png)\]][img-gFk0JSIA-1605757146692_assets_20201021093100281.png]

### Flume环境搭建 ###

*  安装JDK 1.8+ 并配置`JAVA_HOME`环境变量，详见 [CentOS7中JDK的安装及环境变量配置][CentOS7_JDK]
 *  安装Flume，下载地址 [http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][http_mirrors.tuna.tsinghua.edu.cn_apache_flume_1.9.0_apache-flume-1.9.0-bin.tar.gz]

[root@CentOS ~]# tar -zxf apache-flume-1.9.0-bin.tar.gz -C /usr/
    [root@CentOS ~]# cd /usr/apache-flume-1.9.0-bin/
    [root@CentOS apache-flume-1.9.0-bin]# ./bin/flume-ng version
    Flume 1.9.0
    Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
    Revision: d4fcab4f501d41597bc616921329a4339f73585e
    Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
    From source with checksum 35db629a3bda49d23e9b3690c80737f9

[img-gFk0JSIA-1605757146692_assets_20201021093100281.png]: https://img-blog.csdnimg.cn/20201119114237451.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjY0MjMx,size_16,color_FFFFFF,t_70#pic_center
[CentOS7_JDK]: https://blog.csdn.net/qq_44664231/article/details/108804561
[http_mirrors.tuna.tsinghua.edu.cn_apache_flume_1.9.0_apache-flume-1.9.0-bin.tar.gz]: http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz