Flume知识点讲解

墨蓝 2022-05-31 05:45 215阅读 0赞

Flume知识点讲解主要从以下几个问题及解答展开

####  1、Flume概述 ####

Flume是Cloudera提供的一个高可用的、分布式的海量日志采集、聚合和传输的系统，后被捐献给开源软件基金会组织Apache,现已发展成为其顶级项目。其分为两个版本：初始发行版Flume-OG和重构版本Flume-NG。这里介绍一下两者的区别：

1）OG版本中有Master的概念、依赖于Zookeeper，而NG版本中摒弃了Master的概念、 取消了对Zookeeper达到依赖

2）OG和NG版本中Agent功能不一样，组成结构也不一样，OG版本中的Agent用于采集数据，并将数据传输给collector，而NG版本中去掉了collector

3）NG是插件化的，一部分面对用户，工具或系统·开发人员

4）NG使用Thrift、Avro Flume sources可以从Flume0.9.4发送events到Flume1.x

####  2、什么是Agent，组件有哪些 ####

上面提到过Agent,由于Flume-NG相比OG来说更加强大，而我本身接触的也是NG版的，所以这里主要介绍NG版本的Agent。Agent是Flume运行的核心。它是以个完整的数据收集工具，含有三个核心组件：source、channel、sink。有了Agent及它所包含的这三大组件，事务（Event,Flume数据传输的基本单位，具有原子性）可以从一个地方流向另一个地方 。

####  3、支持的拓扑结构有哪些，该怎么实现负载均衡 ####

Flume的拓扑结构如图![70][]

注意：Agent也可以多级相连，比如前两个Agent将数据传输到同一个Agent

实现负载均衡：每台服务器可以运行一个Agent，但是一个Agent里面可以有多个Source和Sink。当Source组里的event流经Channel组,然后进入Sink组，在Sink组内部通过负载均衡算法组中的Sink,接下来就可以选择不同机器上的Agent实现负载均衡。如下图：

![70 1][]

** ****4、该怎么选择source、channel、sink**

Source、Channel和Sink之间耦合度低，可以相互之间灵活组合使用。在我之前的项目使用了三个Flume，其中第一、二用来采集日志并将数据传输给第三个Flume，第三个Flume的作用就是用来合并日志。这就是Flume中Source、Channel和Sink的灵活使用和选择。

####  5、怎么设计拓扑结构以达到高可用    6、如何自己开发拦截器来实现我们特殊的要求，比如区分日志、均匀的写kafka分区    7、写kafka是同步写还是异步写    8、Flume配置文件 ####

Flume配置文件，参考官网

# example.conf: A single-node Flume configuration
    
    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

[70]: /images/20220531/f02f1d6f1e0c40e68e7d1ea6bd987708.png
[70 1]: /images/20220531/ac8ea514d9f64d24887cfeecdbef6f49.png