大数据从0到1的完美落地之Flume模型

￡神魔★判官ぃ 2023-10-12 20:33 26阅读 0赞

![29abf674fb52cb3f8ad35852bfcbbd5d.png][]

#### Flume的模型 ####

##### 数据模型 #####

- 单一数据模型
    - 多数据流模型
    复制代码

###### 单一数据模型 ######

在单个 Agent 内由单个 Source, Channel, Sink 建立一个单一的数据流模型，如下图所示，整个数据流为 Web Server --> Source --> Channel --> Sink --> HDFS。

![707369c8a9f137776821ead3734ff449.png][]

###### 多数据流模型 ######

###### **1）**多 Agent 串行传输数据流模型 ######

![8013421acd894abbc86b229324d8a5b9.png][]

###### **2）**多 Agent 汇聚数据流模型 ######

![ed9acd4c3a0c3dc3dbece7b6783f63d4.png][]

###### **3）**单 Agent 多路数据流模型 ######

![18b02317162f937ade374214563c9e34.png][]

###### **4）**Sinkgroups 数据流模型 ######

![eeaf071972f46ebfebd34096a1c15d4f.png][]

###### 小总结 ######

**文末扫码有惊喜**

在flume提供的数据流模型中，几个原则很重要。
    
    Source--> Channel
      1.单个Source组件可以和多个Channel组合建立数据流，既可以replicating(复制) 和 multiplexing(多路复用)。
      2.多个Sources可以写入单个 Channel
    
    Channel-->Sink
      1.多个Sinks又可以组合成Sinkgroups从Channel中获取数据，既可以loadbalancing(负载均衡)和failover(故障转移)机制。
      2.多个Sinks也可以从单个Channel中取数据。
      3.单个Sink只能从单个Channel中取数据
    
    根据上述 5 个原则，你可以设计出满足你需求的数据流模型。
    复制代码

##### 配置介绍 #####

###### 定义组件名称 ######

要定义单个代理中的流，您需要通过通道链接源和接收器。您需要列出给定代理的源，接收器和通道，然后将源和接收器指向一个通道。一个源实例可以指定多个通道，但是一个接收器实例只能指定一个通道。格式如下：

# list the sources, sinks and channels for the agent
    <Agent>.sources = <Source>
    <Agent>.channels = <Channel1> <Channel2>
    <Agent>.sinks = <Sink>
    
    # set channel for source
    <Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...
    
    # set channel for sink
    <Agent>.sinks.<Sink>.channel = <Channel1>
    复制代码

案例如下：

# list the sources, sinks and channels for the agent
    agent_foo.sources = avro-appserver-src-1
    agent_foo.channels = mem-channel-1
    agent_foo.sinks = hdfs-sink-1
    
    # set channel for source
    agent_foo.sources.avro-appserver-src-1.channels = mem-channel-1
    
    # set channel for sink
    agent_foo.sinks.hdfs-sink-1.channel = mem-channel-1
    复制代码

###### 配置组件属性 ######

# properties for sources
    <Agent>.sources.<Source>.<someProperty> = <someValue>
    
    # properties for channels
    <Agent>.channel.<Channel>.<someProperty> = <someValue>
    
    # properties for sinks
    <Agent>.sources.<Sink>.<someProperty> = <someValue>
    复制代码

案例如下：

agent_foo.sources = avro-AppSrv-source
    agent_foo.sinks = hdfs-Cluster1-sink
    agent_foo.channels = mem-channel-1
    
    # set channel for sources, sinks
    
    # properties of avro-AppSrv-source
    agent_foo.sources.avro-AppSrv-source.type = avro
    agent_foo.sources.avro-AppSrv-source.bind = localhost
    agent_foo.sources.avro-AppSrv-source.port = 10000
    
    # properties of mem-channel-1
    agent_foo.channels.mem-channel-1.type = memory
    agent_foo.channels.mem-channel-1.capacity = 1000
    agent_foo.channels.mem-channel-1.transactionCapacity = 100
    
    # properties of hdfs-Cluster1-sink
    agent_foo.sinks.hdfs-Cluster1-sink.type = hdfs
    agent_foo.sinks.hdfs-Cluster1-sink.hdfs.path = hdfs://namenode/flume/webdata
    
    #...
    复制代码

##### 常用的Source和Sink种类 #####

###### 常用的Flume Sources ######

# Avro source：
        avro
    # Syslog TCP source：
        syslogtcp
    # Syslog UDP Source：
        syslogudp
    # HTTP Source：
        http	
    # Exec source：
        exec
    # JMS source：
        jms
    # Thrift source：
        thrift	
    # Spooling directory source：(监控目录)
        spooldir
    # Kafka source：
        org.apache.flume.source.kafka,KafkaSource
    .....	
    复制代码

###### 常用的Flume hannels ######

# Memory Channel
        memory
    # JDBC Channel
        jdbc
    # Kafka Channel
        org.apache.flume.channel.kafka.KafkaChannel
    # File Channel
        file
    复制代码

###### 常用的Flume Sinks ######

# HDFS Sink
        HDFS
    # HIVE Sink
        Hive
    # Logger Sink
        Logger
    # Avro Sink
        Avro
    # Kafka Sink
        org.apache.flume.sink.kafka.KafkaSink
    # Hbase Sink
        Hbase

### **更多大数据精彩内容欢迎B站搜索“千锋教育”扫码领取大数据全套资料** ###

[29abf674fb52cb3f8ad35852bfcbbd5d.png]: https://img-blog.csdnimg.cn/img_convert/29abf674fb52cb3f8ad35852bfcbbd5d.png
[707369c8a9f137776821ead3734ff449.png]: https://img-blog.csdnimg.cn/img_convert/707369c8a9f137776821ead3734ff449.png
[8013421acd894abbc86b229324d8a5b9.png]: https://img-blog.csdnimg.cn/img_convert/8013421acd894abbc86b229324d8a5b9.png
[ed9acd4c3a0c3dc3dbece7b6783f63d4.png]: https://img-blog.csdnimg.cn/img_convert/ed9acd4c3a0c3dc3dbece7b6783f63d4.png
[18b02317162f937ade374214563c9e34.png]: https://img-blog.csdnimg.cn/img_convert/18b02317162f937ade374214563c9e34.png
[eeaf071972f46ebfebd34096a1c15d4f.png]: https://img-blog.csdnimg.cn/img_convert/eeaf071972f46ebfebd34096a1c15d4f.png