轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.7 认识ChannelSelector

超、凢脫俗 2024-03-16 15:19 31阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.7 认识ChannelSelector

![在这里插入图片描述][b1982f7a899f4144a2d819ed86391183.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.7 认识ChannelSelector ######

到这里，Flume 中的三个核心组件Source、Channel、Sink，我们已经基本了解并且实战了

当时提到的时候我们就说过，不止有这三个，不过这三个是用的最多的

来张图：

Agent中的数据流向图：

![在这里插入图片描述][1f72d63279234d64ac6b3690ceb1ad45.png_pic_center]

在实际工作中，主要数据分为两种：

*  离线：HDFS ===>>> MR Hive Spark…
 *  实时：Kafka ===>>> SS SSS Storm Flink…

现在数据通过Flume 进来后，就可以`分线` 了

![在这里插入图片描述][ab3799a9d4994b93b315ebf6bc175457.png_pic_center]

而且是相同的数据走两边。

【ChannelSelector 】

官网文档：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#flume-channel-selectors][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_flume-channel-selectors]

![在这里插入图片描述][94bcb762af1b4de99ebbb0bbc415b381.png_pic_center]

其实有三个：

![在这里插入图片描述][6d41e976bfbf422a87f5d9784e3ef571.png_pic_center]

第一个是默认的。

*  replicating ，复制，意思就是这种选择器会以复制的方式将数据写到不同的Channel 中
 *  multiplexing：按照规则

OK，下一节实际操作。

[b1982f7a899f4144a2d819ed86391183.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a015e0cbbda24127b8ac894debf688d9.png
[1f72d63279234d64ac6b3690ceb1ad45.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9da4bdb2db854b04a5a93ebb23caf761.png
[ab3799a9d4994b93b315ebf6bc175457.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e960764b065c49c796e9554541089c4e.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_flume-channel-selectors]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#flume-channel-selectors
[94bcb762af1b4de99ebbb0bbc415b381.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f6da6444ed274221b91c084b7935d4d6.png
[6d41e976bfbf422a87f5d9784e3ef571.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cebb83127afe4aa2980b65a076089a4f.png