flume学习（1）

待我称王封你为后i 2022-03-17 14:50 192阅读 0赞

**目录：**

1.  flume简介
    
    1.  产生背景
    2.  flume是什么
    3.  Flume的data flow（数据流)
2.  flume架构
    
    1.  flume基础架构
    2.  多节点架构
    3.  多节点合并架构
    4.  节点分流架构
3.  flume特点
    
    1.  扩展性
    2.  延展性
    3.  可靠性
4.  fluem安装与简单使用步骤
    
    1.  下载、上传、解压、安装、配置环境变量
    2.  在conf目录下创建配置文件（没有要求必须在conf目录下创建）
    3.  启动flume
    4.  测试

### 一.flume简介 ###

**1.产生背景**

如果数据在关系型数据库（RDBMS）里面，可通过Sqoop进行抽取。（Spark SQL可代替）

如果日志在其他机器上，就有了Flume的产生；Flume就是干日志采集的事情。

**2.flume是什么：**[http://flume.apache.org/][http_flume.apache.org]

*  Flume作为 cloudera 开发的实时日志收集系统，收到业界的认可和广泛应用。0.94.0版本以前称为Flume OG，之后重构核心组件、核心位置以及代码架构，重构后的版本统称为Flume NG(next generation)。2011年贡献给Apache 基金会，在2012年变成了Apache的顶级项目。
 *  Flume的核心是agent。它是一个完整的数据收集工具，含有三个核心组件，分别是source、channel、sink。通过这些组件，event可以从一个地方流向另一个地方。为了保证输送一定成功，在送到目的地之前，会先缓存数据，带数据真正到达目的地后，删除自己缓存的数据。

各组件说明：

1.  Agent :一个独立的flume进程，包含 Source + Channel + Sink
2.  Source : 负责日志流入，比如从文件、网络、Kafka等数据源流入数据，数据流入的方式有两种：轮训拉取和事件驱动。  
    接受外部的event。
3.  Channel ：负责数据聚合或暂存，比如暂存到内存、本地文件、数据库、Kafka 等，日志数据不会在管道停留很长时间，很快会被 Sink 消费掉。  
    从source中缓存event，直到sink把event取走。
4.  Sink ：也叫接收器，负责数据转移存储，比如从Channel拿到日志后直接存储到HDFS、Hbase、ElasticSearch、Kafka 等。  
    发送event到指定的目的地。
5.  Events :是使用Flume移动的数据的基本单位。它类似于JMS中的消息，通常很小。它由头和字节数组体组成。如果是文本文件，通常是一行记录，这也是事务的基本单位。

实例：如果A中的数据来此其它机器或者公司，我们不能编写代码获得特定的数据，所以需要通过一个信息采集中间件来迁移或者归类数据，然后将数据送到目的地：内存或者硬盘，如图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]

**3.Flume的data flow（数据流)**

*  data flow 描述了数据从产生、传输、处理并最终写入目标的一条路径。
 *  数据的采集的流向。  
    ![20190901105757507.png][]

## ##

### 二.flume架构 ###

**1.flume基础架构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

**2.多节点架构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

**3.多节点合并架构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]

**4.节点分流架构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]

**总结：上述4种架构说明**  
  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

## ##

### 三.flume特点 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][]

## ##

### 四.fluem安装与简单使用 ###

**1.在linux上搭建步骤：**

1.  下载、上传、解压，配置环境变量![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7][]
    
    1.  下载
    2.  上传
    3.  解压：  
        ![20190225133322100.png][]
    4.  配置环境变量：  
        ![20190225133430465.png][]  
        增加  
        ![20190225133505794.png][]  
        让修改的文件生效  
        ![20190225134337150.png][]
2.  修改配置文件：进入[http://flume.apache.org/][http_flume.apache.org]，用户手册（不是开发手册）  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8][]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9][]  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10][]  
      
    实例：
    
    1.  创建一个配置文件 test01.conf（文件名可以随便取，后缀名也无所谓），一般放在flume解压文件的conf目录下  
        ![20190225134654921.png][]  
        ![20190225134805386.png][]
    2.  配置  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12][]
    3.  说明  
        ![2019022514255928.png][]
3.  启动flume（ 路径可以使用相对路径和绝对路径）  
    ![20190225142713246.png][]  
    ![20190225011947857.png][]
4.  测试  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13][]  
    例如：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14][]

**命令说明：**

命令：flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
    命令说明：
    flume-ng:命令脚本
    agent：运行一个flume agent
    --conf conf：包含一个shell脚本 flume-env.sh和一个潜在的log4j属性文档，可省略，-conf 可简写成-c
    --conf-file：配置文件，可简写成-f
    --name：该agent的名称，可简写成-n
    --Dflume.root.logger=INFO,console：使用一个Java系统属性

**2.在windows上测试：使用telnet（相当于第4步：测试）**

1.  打开控制面板，点击程序和功能  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15][]
2.  点击打开或关闭Windows 功能  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16][]
3.  勾选telnet客户端  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17][]
4.  重启电脑生效
5.  测试：在dos中输入telnet  
    ![20190225142155637.png][]

[http_flume.apache.org]: http://flume.apache.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220317/c4034c025c12462aa7b269a4036f34d3.png
[20190901105757507.png]: /images/20220317/3a5576790db543f1a6884eeee381b2ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220317/12b96832a7334a3fab6e52554a72a1e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220317/5e25d2bdcd9d4fe191322eb3aa1bbeee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220317/7297691130644290b3fb72d86be06707.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220317/f87a599fc1ef4dbfbb21137f290b71e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220317/ed6d303a500646bd906475a55423f815.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220317/2667d301750d4a729e6b8ab7e135db15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7]: /images/20220317/64b16b34a7ba42d39389863db928c6c8.png
[20190225133322100.png]: /images/20220317/279da1848d784ef8a2eb1a21fc31797e.png
[20190225133430465.png]: /images/20220317/1e0815a131cb40cd874059bec718b53b.png
[20190225133505794.png]: /images/20220317/15ef7fb2546145e4bcb019338f6b3ec8.png
[20190225134337150.png]: /images/20220317/cd27e84eec6545b0a955f8575fa47729.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8]: /images/20220317/74e8a20d543e4d2d84c0a9a378f94301.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9]: /images/20220317/4b750261171643d79d7a7c30cb63a0fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10]: /images/20220317/df11a1fd081a439498ee0802ec30c57d.png
[20190225134654921.png]: /images/20220317/5389ed7f9cc34569b16d9dc43a73585f.png
[20190225134805386.png]: /images/20220317/02433b39eaa44ed18746d112f17ac39d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11]: /images/20220317/b78a177844c749f4975ce618c1d4a133.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12]: /images/20220317/838fefa3594741438edb51af150f3c52.png
[2019022514255928.png]: /images/20220317/b35f9faa9bd54a96b54b82f050aea9fe.png
[20190225142713246.png]: /images/20220317/3da9eca9f9b14277b84654616cb6ad7c.png
[20190225011947857.png]: /images/20220317/c7475e8039214f30886c6b8a61c0ab37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13]: /images/20220317/0a180a857b9c46d3aff6e275ba3cb39d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14]: /images/20220317/80f0d89dec9d49b49cb39193cd8bef18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15]: /images/20220317/f1850416c1b540ff996573afa690de6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16]: /images/20220317/2660fc6bc79e4d50b602b91f7267a24c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17]: /images/20220317/23cdb07e90e845b8b9ee1c069e2d1e96.png
[20190225142155637.png]: /images/20220317/9bf18b844d2446f9b0b487364a935a7b.png