轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.7 Flume Agent配置文件编写指南

绝地灬酷狼 2024-03-16 13:21 13阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.7 Flume Agent配置文件编写指南

![在这里插入图片描述][e561ea4c7a9c42e5b61e840a6ef49eb5.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.7 Flume Agent配置文件编写指南 ######

![在这里插入图片描述][c4cad038344e47309b2d2128be2e3d0d.png_pic_center]

官网文档：

[Setting up an agent][]

![在这里插入图片描述][9c574e4d1d074bc6bf409f822c4774a4.png_pic_center]

启动命令：

![在这里插入图片描述][6ed45572c7534c36ba39874ac22a7822.png_pic_center]

当然现在我们只是看看，还没部署呢嘛

一个经典的Agent 配置案例：

![在这里插入图片描述][79e639b122c54b56bc986011493c3bb8.png_pic_center]

# example.conf: A single-node Flume configuration
    
    
    需求：【监听本机44444端口的数据 收集到终端打印出来】
    # Name the components on this agent【定义agent 中对应的三大组件的名字】
    a1.sources = r1 数据源Source
    a1.sinks = k1 目的地 Sink
    a1.channels = c1 缓存 Channel
    
    # Describe/configure the source 配置source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    # Use a channel which buffers events in memory 配置channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Describe the sink 配置sink
    a1.sinks.k1.type = logger
    
    # Bind the source and sink to the channel 三大组件的流向组织
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

> 这些property 解释在官网都有
> 
> 每一个表中都是
> 
> ![在这里插入图片描述][5853ff7b30a24f4bb87fb3ae93c0a514.png_pic_center]

【一个单节点Flume 的配置】

*  a1：Agent的名字

总之：学习或者使用Flume最关键的就是agent的配置文件的编写，它是可插拔的

[e561ea4c7a9c42e5b61e840a6ef49eb5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a44d27a7ab3b43ae8043dd674352b98e.png
[c4cad038344e47309b2d2128be2e3d0d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7354725fad10405599031e29077743f9.png
[Setting up an agent]: https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html#setting-up-an-agent
[9c574e4d1d074bc6bf409f822c4774a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0e09da35b17e4ca5a00f609fda0c3a49.png
[6ed45572c7534c36ba39874ac22a7822.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b00e5ed684204c8f841ab51ee640e984.png
[79e639b122c54b56bc986011493c3bb8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c46ddad4188447698a94c289177fed4e.png
[5853ff7b30a24f4bb87fb3ae93c0a514.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f8b37d1d84064a99bc18f9830b24f607.png