flume官网的一些翻译

左手的ㄟ右手 2022-05-15 01:56 258阅读 0赞

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。

**架构设计要点**

Flume的架构主要有一下几个核心概念：

*  Event：一个数据单元，带有一个可选的消息头
 *  Flow：Event从源点到达目的点的迁移的抽象
 *  Client：操作位于源点处的Event，将其发送到Flume Agent
 *  Agent：一个独立的Flume进程，包含组件Source、Channel、Sink
 *  Source：用来消费传递到该组件的Event
 *  Channel：中转Event的一个临时存储，保存有Source组件传递过来的Event
 *  Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）

Flume NG架构，如图所示：  
![flume-ng-architecture][]  
外部系统产生日志，直接通过Flume的Agent的Source组件将事件（如日志行）发送到中间临时的channel组件，最后传递给Sink组件，HDFS Sink组件可以直接把数据存储到HDFS集群上。  
一个最基本Flow的配置，格式如下：

<table> 
 <tbody> 
 <tr> 
 <td> 01 02 03 04 05 06 07 08 09 10 11 12 </td> 
 <td> <code># list the sources, sinks and channels for the agent</code> <code>&lt;Agent&gt;.sources = &lt;Source1&gt; &lt;Source2&gt;</code> <code>&lt;Agent&gt;.sinks = &lt;Sink1&gt; &lt;Sink2&gt;</code> <code>&lt;Agent&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt;</code> &nbsp; <code># set channel for source</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt; ...</code> <code>&lt;Agent&gt;.sources.&lt;Source2&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt; ...</code> &nbsp; <code># set channel for sink</code> <code>&lt;Agent&gt;.sinks.&lt;Sink1&gt;.channel = &lt;Channel1&gt;</code> <code>&lt;Agent&gt;.sinks.&lt;Sink2&gt;.channel = &lt;Channel2&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

尖括号里面的，我们可以根据实际需求或业务来修改名称。下面详细说明：  
表示配置一个Agent的名称，一个Agent肯定有一个名称。与是Agent的Source组件的名称，消费传递过来的Event。与是Agent的Channel组件的名称。与是Agent的Sink组件的名称，从Channel中消费（移除）Event。  
上面配置内容中，第一组中配置Source、Sink、Channel，它们的值可以有1个或者多个；第二组中配置Source将把数据存储（Put）到哪一个Channel中，可以存储到1个或多个Channel中，同一个Source将数据存储到多个Channel中，实际上是Replication；第三组中配置Sink从哪一个Channel中取（Task）数据，一个Sink只能从一个Channel中取数据。  
下面，根据官网文档，我们展示几种Flow Pipeline，各自适应于什么样的应用场景：

*  多个Agent顺序连接

![flume-multiseq-agents][]  
可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。

*  多个Agent的数据汇聚到同一个Agent

![flume-join-agent][]  
这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载均衡的集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。

*  多路（Multiplexing）Agent

![flume-multiplexing-agent][]  
这种模式，有两种方式，一种是用来复制（Replication），另一种是用来分流（Multiplexing）。Replication方式，可以将最前端的数据源复制多份，分别传递到多个channel中，每个channel接收到的数据都是相同的，配置格式，如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 01 02 03 04 05 06 07 08 09 10 11 12 13 </td> 
 <td> <code># List the sources, sinks and channels for the agent</code> <code>&lt;Agent&gt;.sources = &lt;Source1&gt;</code> <code>&lt;Agent&gt;.sinks = &lt;Sink1&gt; &lt;Sink2&gt;</code> <code>&lt;Agent&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt;</code> &nbsp; <code># set list of channels for source (separated by space)</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt;</code> &nbsp; <code># set channel for sinks</code> <code>&lt;Agent&gt;.sinks.&lt;Sink1&gt;.channel = &lt;Channel1&gt;</code> <code>&lt;Agent&gt;.sinks.&lt;Sink2&gt;.channel = &lt;Channel2&gt;</code> &nbsp; <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.type = replicating</code> </td> 
 </tr> 
 </tbody> 
</table>

上面指定了selector的type的值为replication，其他的配置没有指定，使用的Replication方式，Source1会将数据分别存储到Channel1和Channel2，这两个channel里面存储的数据是相同的，然后数据被传递到Sink1和Sink2。  
Multiplexing方式，selector可以根据header的值来确定数据传递到哪一个channel，配置格式，如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code># Mapping for multiplexing selector</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.type = multiplexing</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.header = &lt;someHeader&gt;</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.mapping.&lt;Value1&gt; = &lt;Channel1&gt;</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.mapping.&lt;Value2&gt; = &lt;Channel1&gt; &lt;Channel2&gt;</code> <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.mapping.&lt;Value3&gt; = &lt;Channel2&gt;</code> <code>#...</code> &nbsp; <code>&lt;Agent&gt;.sources.&lt;Source1&gt;.selector.default = &lt;Channel2&gt;</code> </td> 
 </tr> 
 </tbody> 
</table>

上面selector的type的值为multiplexing，同时配置selector的header信息，还配置了多个selector的mapping的值，即header的值：如果header的值为Value1、Value2，数据从Source1路由到Channel1；如果header的值为Value2、Value3，数据从Source1路由到Channel2。

*  实现load balance功能

![flume-load-balance-agents][]  
Load balancing Sink Processor能够实现load balance功能，上图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>a1.sinkgroups = g1</code> <code>a1.sinkgroups.g1.sinks = k1 k2 k3</code> <code>a1.sinkgroups.g1.processor.type = load_balance</code> <code>a1.sinkgroups.g1.processor.backoff = true</code> <code>a1.sinkgroups.g1.processor.selector = round_robin</code> <code>a1.sinkgroups.g1.processor.selector.maxTimeOut=10000</code> </td> 
 </tr> 
 </tbody> 
</table>

*  实现failover能

Failover Sink Processor能够实现failover功能，具体流程类似load balance，但是内部处理机制与load balance完全不同：Failover Sink Processor维护一个优先级Sink组件列表，只要有一个Sink组件可用，Event就被传递到下一个组件。如果一个Sink能够成功处理Event，则会加入到一个Pool中，否则会被移出Pool并计算失败次数，设置一个惩罚因子，示例配置如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>a1.sinkgroups = g1</code> <code>a1.sinkgroups.g1.sinks = k1 k2 k3</code> <code>a1.sinkgroups.g1.processor.type = failover</code> <code>a1.sinkgroups.g1.processor.priority.k1 = 5</code> <code>a1.sinkgroups.g1.processor.priority.k2 = 7</code> <code>a1.sinkgroups.g1.processor.priority.k3 = 6</code> <code>a1.sinkgroups.g1.processor.maxpenalty = 20000</code> </td> 
 </tr> 
 </tbody> 
</table>

**基本功能**

我们看一下，Flume NG都支持哪些功能（目前最新版本是1.5.0.1），了解它的功能集合，能够让我们在应用中更好地选择使用哪一种方案。说明Flume NG的功能，实际还是围绕着Agent的三个组件Source、Channel、Sink来看它能够支持哪些技术或协议。我们不再对各个组件支持的协议详细配置进行说明，通过列表的方式分别对三个组件进行概要说明：

*  Flume Source

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;">Source类型</td> 
 <td style="vertical-align:top;">说明</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Avro Source</td> 
 <td style="vertical-align:top;">支持Avro协议（实际上是Avro RPC），内置支持</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Thrift Source</td> 
 <td style="vertical-align:top;">支持Thrift协议，内置支持</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Exec Source</td> 
 <td style="vertical-align:top;">基于Unix的command在标准输出上生产数据</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">JMS Source</td> 
 <td style="vertical-align:top;">从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Spooling Directory Source</td> 
 <td style="vertical-align:top;">监控指定目录内数据变更</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Twitter 1% firehose Source</td> 
 <td style="vertical-align:top;">通过API持续下载Twitter数据，试验性质</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Netcat Source</td> 
 <td style="vertical-align:top;">监控某个端口，将流经端口的每一个文本行数据作为Event输入</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Sequence Generator Source</td> 
 <td style="vertical-align:top;">序列生成器数据源，生产序列数据</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Syslog Sources</td> 
 <td style="vertical-align:top;">读取syslog数据，产生Event，支持UDP和TCP两种协议</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">HTTP Source</td> 
 <td style="vertical-align:top;">基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Legacy Sources</td> 
 <td style="vertical-align:top;">兼容老的Flume OG中Source（0.9.x版本）</td> 
 </tr> 
 </tbody> 
</table>

*  Flume Channel

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;">Channel类型</td> 
 <td style="vertical-align:top;">说明</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Memory Channel</td> 
 <td style="vertical-align:top;">Event数据存储在内存中</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">JDBC Channel</td> 
 <td style="vertical-align:top;">Event数据存储在持久化存储中，当前Flume Channel内置支持Derby</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">File Channel</td> 
 <td style="vertical-align:top;">Event数据存储在磁盘文件中</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Spillable Memory Channel</td> 
 <td style="vertical-align:top;">Event数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用）</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Pseudo Transaction Channel</td> 
 <td style="vertical-align:top;">测试用途</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Custom Channel</td> 
 <td style="vertical-align:top;">自定义Channel实现</td> 
 </tr> 
 </tbody> 
</table>

*  Flume Sink

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;">Sink类型</td> 
 <td style="vertical-align:top;">说明</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">HDFS Sink</td> 
 <td style="vertical-align:top;">数据写入HDFS</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Logger Sink</td> 
 <td style="vertical-align:top;">数据写入日志文件</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Avro Sink</td> 
 <td style="vertical-align:top;">数据被转换成Avro Event，然后发送到配置的RPC端口上</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Thrift Sink</td> 
 <td style="vertical-align:top;">数据被转换成Thrift Event，然后发送到配置的RPC端口上</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">IRC Sink</td> 
 <td style="vertical-align:top;">数据在IRC上进行回放</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">File Roll Sink</td> 
 <td style="vertical-align:top;">存储数据到本地文件系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Null Sink</td> 
 <td style="vertical-align:top;">丢弃到所有数据</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">HBase Sink</td> 
 <td style="vertical-align:top;">数据写入HBase数据库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Morphline Solr Sink</td> 
 <td style="vertical-align:top;">数据发送到Solr搜索服务器（集群）</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">ElasticSearch Sink</td> 
 <td style="vertical-align:top;">数据发送到Elastic Search搜索服务器（集群）</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Kite Dataset Sink</td> 
 <td style="vertical-align:top;">写数据到Kite Dataset，试验性质的</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;">Custom Sink</td> 
 <td style="vertical-align:top;">自定义Sink实现</td> 
 </tr> 
 </tbody> 
</table>

另外还有Channel Selector、Sink Processor、Event Serializer、Interceptor等组件，可以参考官网提供的用户手册。

**应用实践**

安装Flume NG非常简单，我们使用最新的1.5.0.1版本，执行如下命令：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>cd /usr/local</code> <code>wget <a href="http://mirror.bit.edu.cn/apache/flume/1.5.0.1/apache-flume-1.5.0.1-bin.tar.gz" rel="nofollow">http://mirror.bit.edu.cn/apache/flume/1.5.0.1/apache-flume-1.5.0.1-bin.tar.gz</a></code> <code>tar xvzf apache-flume-1.5.0.1-bin.tar.gz</code> <code>cd apache-flume-1.5.0.1-bin</code> </td> 
 </tr> 
 </tbody> 
</table>

如果需要使用到Hadoop集群，保证Hadoop相关的环境变量都已经正确配置，并且Hadoop集群可用。下面，通过一些实际的配置实例，来了解Flume的使用。为了简单期间，channel我们使用Memory类型的channel。

*  Avro Source+Memory Channel+Logger Sink

使用apache-flume-1.5.0.1自带的例子，使用Avro Source接收外部数据源，Logger作为sink，即通过Avro RPC调用，将数据缓存在channel中，然后通过Logger打印出调用发送的数据。  
配置Agent，修改配置文件conf/flume-conf.properties，内容如下：

首先，启动Agent进程：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>bin</code><code>/flume-ng</code> <code>agent -c .</code><code>/conf/</code> <code>-f conf</code><code>/flume-conf</code><code>.properties -Dflume.root.logger=DEBUG,console -n agent1</code> </td> 
 </tr> 
 </tbody> 
</table>

然后，启动Avro Client，发送数据：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>bin</code><code>/flume-ng</code> <code>avro-client -c .</code><code>/conf/</code> <code>-H 0.0.0.0 -p 41414 -F </code><code>/usr/local/programs/logs/sync</code><code>.log -Dflume.root.logger=DEBUG,console</code> </td> 
 </tr> 
 </tbody> 
</table>

*  Avro Source+Memory Channel+HDFS Sink

配置Agent，修改配置文件conf/flume-conf-hdfs.properties，内容如下：

<table> 
 <tbody> 
 <tr> 
 <td> 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 </td> 
 <td> <code># Define a source, channel, sink</code> <code>agent1.sources = avro-source1</code> <code>agent1.channels = ch1</code> <code>agent1.sinks = hdfs-sink</code> &nbsp; <code># Configure channel</code> <code>agent1.channels.ch1.type = memory</code> <code>agent1.channels.ch1.capacity = 1000000</code> <code>agent1.channels.ch1.transactionCapacity = 500000</code> &nbsp; <code># Define an Avro source called avro-source1 on agent1 and tell it</code> <code># to bind to 0.0.0.0:41414. Connect it to channel ch1.</code> <code>agent1.sources.avro-source1.channels = ch1</code> <code>agent1.sources.avro-source1.type = avro</code> <code>agent1.sources.avro-source1.bind = 0.0.0.0</code> <code>agent1.sources.avro-source1.port = 41414</code> &nbsp; <code># Define a logger sink that simply logs all events it receives</code> <code># and connect it to the other end of the same channel.</code> <code>agent1.sinks.hdfs-sink1.channel = ch1</code> <code>agent1.sinks.hdfs-sink1.type = hdfs</code> <code>agent1.sinks.hdfs-sink1.hdfs.path = hdfs://h1:8020/data/flume/</code> <code>agent1.sinks.hdfs-sink1.hdfs.filePrefix = sync_file</code> <code>agent1.sinks.hdfs-sink1.hdfs.fileSuffix = .log</code> <code>agent1.sinks.hdfs-sink1.hdfs.rollSize = 1048576</code> <code>agent1.sinks.hdfs-sink1.rollInterval = 0</code> <code>agent1.sinks.hdfs-sink1.hdfs.rollCount = 0</code> <code>agent1.sinks.hdfs-sink1.hdfs.batchSize = 1500</code> <code>agent1.sinks.hdfs-sink1.hdfs.round = true</code> <code>agent1.sinks.hdfs-sink1.hdfs.roundUnit = minute</code> <code>agent1.sinks.hdfs-sink1.hdfs.threadsPoolSize = 25</code> <code>agent1.sinks.hdfs-sink1.hdfs.useLocalTimeStamp = true</code> <code>agent1.sinks.hdfs-sink1.hdfs.minBlockReplicas = 1</code> <code>agent1.sinks.hdfs-sink1.fileType = SequenceFile</code> <code>agent1.sinks.hdfs-sink1.writeFormat = TEXT</code> </td> 
 </tr> 
 </tbody> 
</table>

首先，启动Agent：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>bin</code><code>/flume-ng</code> <code>agent -c .</code><code>/conf/</code> <code>-f conf</code><code>/flume-conf-hdfs</code><code>.properties -Dflume.root.logger=INFO,console -n agent1</code> </td> 
 </tr> 
 </tbody> 
</table>

然后，启动Avro Client，发送数据：

可以查看同步到HDFS上的数据：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>hdfs dfs -</code><code>ls</code> <code>/data/flume</code> </td> 
 </tr> 
 </tbody> 
</table>

结果示例，如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1377617 2014-09-16 14:35 /data/flume/sync_file.1410849320761.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1378137 2014-09-16 14:35 /data/flume/sync_file.1410849320762.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp;&nbsp; 259148 2014-09-16 14:35 /data/flume/sync_file.1410849320763.log</code> </td> 
 </tr> 
 </tbody> 
</table>

*  Spooling Directory Source+Memory Channel+HDFS Sink

配置Agent，修改配置文件flume-conf-spool.properties，内容如下：

<table> 
 <tbody> 
 <tr> 
 <td> 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 </td> 
 <td> <code># Define source, channel, sink</code> <code>agent1.sources = spool-source1</code> <code>agent1.channels = ch1</code> <code>agent1.sinks = hdfs-sink1</code> &nbsp; <code># Configure channel</code> <code>agent1.channels.ch1.type = memory</code> <code>agent1.channels.ch1.capacity = 1000000</code> <code>agent1.channels.ch1.transactionCapacity = 500000</code> &nbsp; <code># Define and configure an Spool directory source</code> <code>agent1.sources.spool-source1.channels = ch1</code> <code>agent1.sources.spool-source1.type = spooldir</code> <code>agent1.sources.spool-source1.spoolDir = /home/shirdrn/data/</code> <code>agent1.sources.spool-source1.ignorePattern = event(_\d{4}\-\d{2}\-\d{2}_\d{2}_\d{2})?\.log(\.COMPLETED)?</code> <code>agent1.sources.spool-source1.batchSize = 50</code> <code>agent1.sources.spool-source1.inputCharset = UTF-8</code> &nbsp; <code># Define and configure a hdfs sink</code> <code>agent1.sinks.hdfs-sink1.channel = ch1</code> <code>agent1.sinks.hdfs-sink1.type = hdfs</code> <code>agent1.sinks.hdfs-sink1.hdfs.path = hdfs://h1:8020/data/flume/</code> <code>agent1.sinks.hdfs-sink1.hdfs.filePrefix = event_%y-%m-%d_%H_%M_%S</code> <code>agent1.sinks.hdfs-sink1.hdfs.fileSuffix = .log</code> <code>agent1.sinks.hdfs-sink1.hdfs.rollSize = 1048576</code> <code>agent1.sinks.hdfs-sink1.hdfs.rollCount = 0</code> <code>agent1.sinks.hdfs-sink1.hdfs.batchSize = 1500</code> <code>agent1.sinks.hdfs-sink1.hdfs.round = true</code> <code>agent1.sinks.hdfs-sink1.hdfs.roundUnit = minute</code> <code>agent1.sinks.hdfs-sink1.hdfs.threadsPoolSize = 25</code> <code>agent1.sinks.hdfs-sink1.hdfs.useLocalTimeStamp = true</code> <code>agent1.sinks.hdfs-sink1.hdfs.minBlockReplicas = 1</code> <code>agent1.sinks.hdfs-sink1.fileType = SequenceFile</code> <code>agent1.sinks.hdfs-sink1.writeFormat = TEXT</code> <code>agent1.sinks.hdfs-sink1.rollInterval = 0</code> </td> 
 </tr> 
 </tbody> 
</table>

启动Agent进程，执行如下命令：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>bin</code><code>/flume-ng</code> <code>agent -c .</code><code>/conf/</code> <code>-f conf</code><code>/flume-conf-spool</code><code>.properties -Dflume.root.logger=INFO,console -n agent1</code> </td> 
 </tr> 
 </tbody> 
</table>

可以查看HDFS上同步过来的数据：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>hdfs dfs -</code><code>ls</code> <code>/data/flume</code> </td> 
 </tr> 
 </tbody> 
</table>

结果示例，如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 01 02 03 04 05 06 07 08 09 10 </td> 
 <td> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:52 /data/flume/event_14-09-17_10_52_00.1410922355094.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:52 /data/flume/event_14-09-17_10_52_00.1410922355095.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:52 /data/flume/event_14-09-17_10_52_00.1410922355096.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:52 /data/flume/event_14-09-17_10_52_00.1410922355097.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1530 2014-09-17 10:53 /data/flume/event_14-09-17_10_52_00.1410922355098.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:53 /data/flume/event_14-09-17_10_53_00.1410922380386.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:53 /data/flume/event_14-09-17_10_53_00.1410922380387.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:53 /data/flume/event_14-09-17_10_53_00.1410922380388.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:53 /data/flume/event_14-09-17_10_53_00.1410922380389.log</code> <code>-rw-r--r--&nbsp;&nbsp; 3 shirdrn supergroup&nbsp;&nbsp;&nbsp; 1072265 2014-09-17 10:53 /data/flume/event_14-09-17_10_53_00.1410922380390.log</code> </td> 
 </tr> 
 </tbody> 
</table>

*  Exec Source+Memory Channel+File Roll Sink

配置Agent，修改配置文件flume-conf-file.properties，内容如下：

启动Agent进程，执行如下命令：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>bin</code><code>/flume-ng</code> <code>agent -c .</code><code>/conf/</code> <code>-f conf</code><code>/flume-conf-file</code><code>.properties -Dflume.root.logger=INFO,console -n agent1</code> </td> 
 </tr> 
 </tbody> 
</table>

可以查看File Roll Sink对应的本地文件系统目录/home/shirdrn/sink\_data下，示例如下所示：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 </td> 
 <td> <code>-rw-rw-r-- 1 shirdrn shirdrn 13944825 Sep 17 11:36 1410924990039-1</code> <code>-rw-rw-r-- 1 shirdrn shirdrn 11288870 Sep 17 11:37 1410924990039-2</code> <code>-rw-rw-r-- 1 shirdrn shirdrn&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 Sep 17 11:37 1410924990039-3</code> <code>-rw-rw-r-- 1 shirdrn shirdrn 20517500 Sep 17 11:38 1410924990039-4</code> <code>-rw-rw-r-- 1 shirdrn shirdrn 16343250 Sep 17 11:38 1410924990039-5</code> </td> 
 </tr> 
 </tbody> 
</table>

有关Flume NG更多配置及其说明，请参考官方用户手册，非常详细。

**参考链接**

*  [http://flume.apache.org/FlumeUserGuide.html][http_flume.apache.org_FlumeUserGuide.html]
 *  [https://blogs.apache.org/flume/entry/flume\_ng\_architecture][https_blogs.apache.org_flume_entry_flume_ng_architecture]

[flume-ng-architecture]: http://shiyanjuncn.b0.upaiyun.com/wp-content/uploads/2014/09/flume-ng-architecture.png
[flume-multiseq-agents]: http://shiyanjuncn.b0.upaiyun.com/wp-content/uploads/2014/09/flume-multiseq-agents.png
[flume-join-agent]: http://shiyanjuncn.b0.upaiyun.com/wp-content/uploads/2014/09/flume-join-agent.png
[flume-multiplexing-agent]: http://shiyanjuncn.b0.upaiyun.com/wp-content/uploads/2014/09/flume-multiplexing-agent.png
[flume-load-balance-agents]: http://shiyanjuncn.b0.upaiyun.com/wp-content/uploads/2014/09/flume-load-balance-agents.png
[http_flume.apache.org_FlumeUserGuide.html]: http://flume.apache.org/FlumeUserGuide.html
[https_blogs.apache.org_flume_entry_flume_ng_architecture]: https://blogs.apache.org/flume/entry/flume_ng_architecture