轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.8 【重要必掌握】实战之ChannelSelector

绝地灬酷狼 2024-03-16 15:19 31阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.8 【重要必掌握】实战之ChannelSelector

![在这里插入图片描述][56a8e5eb0bca484bb1e0649c711d56af.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.8 【重要必掌握】实战之ChannelSelector ######

假设数据这样流：

从netcat 出发， → 到达c1 和 c2，c1 输出到终端，c2 写入hdfs

完成一份数据过来去到两个不同的地方。

来一个配置文件：`channel-selector.conf`

a1.sources = r1
    a1.sinks = k1 k2
    a1.channels = c1 c2
    
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = 0.0.0.0
    a1.sources.r1.port = 55555
    
    a1.channels.c1.type = memory
    a1.channels.c2.type = memory
    
    a1.sinks.k1.type = logger
    
    a1.sinks.k2.type = hdfs
    a1.sinks.k2.hdfs.path = hdfs://hadoop000:8020/data/flume/spool/access/%m%d%H%M
    a1.sinks.k2.hdfs.fileType = DataStream
    a1.sinks.k2.hdfs.writeFormat = Text
    a1.sinks.k2.hdfs.batchSize = 100
    a1.sinks.k2.hdfs.filePrefix = events-
    a1.sinks.k2.hdfs.rollInterval = 30
    a1.sinks.k2.hdfs.rollSize = 134217728
    a1.sinks.k2.hdfs.rollCount = 1000000
    a1.sinks.k2.hdfs.useLocalTimeStamp = true
    a1.sinks.k2.hdfs.round = true
    a1.sinks.k2.hdfs.roundValue = 1
    a1.sinks.k2.hdfs.roundUnit = minute
    
    
    a1.sources.r1.selector.type = replicating
    a1.sources.r1.channels = c1 c2
    a1.sinks.k1.channel = c1
    a1.sinks.k2.channel = c2

![在这里插入图片描述][e7181e64e6754afba36f07a7da1b2de5.png_pic_center]

启动命令：

flume-ng agent \
    --name a1 \
    --conf $FLUME_HOME/conf \
    --conf-file /home/hadoop/config/channel-selector.conf \
    -Dflume.root.logger=INFO,console

![在这里插入图片描述][a4d6f13299744a478694c991d98d8616.png_pic_center]

启动成功

55555 端口，telnet 连接：

`telnet localhost 55555`

![在这里插入图片描述][741c2904d62f41c59542ec8de097b92e.png_pic_center]

随便敲点数据进去

![在这里插入图片描述][94a9a3997e6448bc871c6795cac88183.png_pic_center]

看c1 的日志

![在这里插入图片描述][d3f71186ea7346868646a19f0d5ff4e3.png_pic_center]

没问题，看HDFS

![在这里插入图片描述][8a4b5a43ee7c44f98fc8d50425370191.png_pic_center]

没问题，最后那儿敲错了，不影响

[56a8e5eb0bca484bb1e0649c711d56af.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/94ac8d0e874f41fda7ab5dbc913c0bc8.png
[e7181e64e6754afba36f07a7da1b2de5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/828718d61e3e47f1847877456551d4c4.png
[a4d6f13299744a478694c991d98d8616.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f610ab3f9c61411692d467076d211071.png
[741c2904d62f41c59542ec8de097b92e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8b7ea7ac191049ba938b7fe18818c763.png
[94a9a3997e6448bc871c6795cac88183.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/65eb63df251e4c2298d37a9bcb66ad52.png
[d3f71186ea7346868646a19f0d5ff4e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b1b6d85d77094726993da6737686b628.png
[8a4b5a43ee7c44f98fc8d50425370191.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/32ab292af4cc493ba9e29cb3d1b93b4b.png