Flume中的HDFS Sink配置参数说明及输出压缩配置

电玩女神 2022-03-09 03:38 440阅读 0赞

**关键字：flume、hdfs、sink、配置参数**

**滚动条件与输出hdfs的文件的压缩配置**

**Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。**

*  **channel**
 *  **type**   hdfs
 *  **path**

写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/

可以使用flume提供的日期及%\{host\}表达式。

*  filePrefix

默认值：FlumeData

写入hdfs的文件名前缀，可以使用flume提供的日期及%\{host\}表达式。

*  fileSuffix

写入hdfs的文件名后缀，比如：.lzo .log等。

*  inUsePrefix

临时文件的文件名前缀，hdfs sink会先往目标目录中写临时文件，再根据相关规则重命名成最终目标文件；

*  inUseSuffix

默认值：.tmp

临时文件的文件名后缀。

*  **rollInterval**

默认值：30

hdfs sink间隔多长将临时文件滚动成最终目标文件，单位：秒；

如果设置成0，则表示不根据时间来滚动文件；

**注：滚动（roll****）指的是，hdfs sink****将临时文件重命名成最终目标文件，并新打开一个临时文件来写入数据；**

*  rollSize

默认值：1024

当临时文件达到该大小（单位：bytes）时，滚动成目标文件；

如果设置成0，则表示不根据临时文件大小来滚动文件；

*  rollCount

默认值：10

当events数据达到该数量时候，将临时文件滚动成目标文件；

如果设置成0，则表示不根据events数据来滚动文件；

*  idleTimeout

默认值：0  
当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件；

*  batchSize

默认值：100

每个批次刷新到HDFS上的events数量；

*  **codeC**

**文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy**

*  **fileType**

**默认值：SequenceFile**

**文件格式，包括：SequenceFile, DataStream,CompressedStream**

**当使用DataStream时候，文件不会被压缩，不需要设置hdfs.codeC;**

**当使用CompressedStream时候，必须设置一个正确的hdfs.codeC值；**

*  maxOpenFiles

默认值：5000

最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭；

*  minBlockReplicas

默认值：HDFS副本数

写入HDFS文件块的最小副本数。

该参数会影响文件的滚动配置，一般将该参数配置成1，才可以按照配置正确滚动文件。

待研究。

*  **writeFormat**

**写sequence文件的格式。包含：Text, Writable（默认）**

*  callTimeout

默认值：10000

执行HDFS操作的超时时间（单位：毫秒）；

*  threadsPoolSize

默认值：10

hdfs sink启动的操作HDFS的线程数。

*  rollTimerPoolSize

默认值：1

hdfs sink启动的根据时间滚动文件的线程数。

*  kerberosPrincipal

HDFS安全认证kerberos配置；

*  kerberosKeytab

HDFS安全认证kerberos配置；

*  proxyUser

代理用户

*  round

默认值：false

是否启用时间上的”舍弃”，这里的”舍弃”，类似于”四舍五入”，后面再介绍。如果启用，则会影响除了%t的其他所有时间表达式；

*  roundValue

默认值：1

时间上进行“舍弃”的值；

*  roundUnit

默认值：seconds

时间上进行”舍弃”的单位，包含：second,minute,hour

示例：

a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S

a1.sinks.k1.hdfs.round = true

a1.sinks.k1.hdfs.roundValue = 10

a1.sinks.k1.hdfs.roundUnit = minute

当时间为2015-10-16 17:38:59时候，hdfs.path依然会被解析为：

/flume/events/20151016/17:30/00

因为设置的是舍弃10分钟内的时间，因此，该目录每10分钟新生成一个。

*  timeZone

**默认值：Local Time**

时区。

*  useLocalTimeStamp

默认值：flase

是否使用当地时间。

*  closeTries

默认值：0

**hdfs sink关闭文件的尝试次数；**

如果设置为1，当一次关闭文件失败后，hdfs sink将不会再次尝试关闭文件，这个未关闭的文件将会一直留在那，并且是打开状态。

设置为0，当一次关闭失败后，hdfs sink会继续尝试下一次关闭，直到成功。

*  retryInterval

默认值：180（秒）

hdfs sink尝试关闭文件的时间间隔，如果设置为0，表示不尝试，相当于于将hdfs.closeTries设置成1.

*  **serializer**

**默认值：TEXT**

**序列化类型。**其他还有：avro\_event或者是实现了EventSerializer.Builder的类名。

下面的配置中，在HDFS的/tmp/lxw1234/目录下，每天生成一个格式为20151016的目录，

目标文件每5分钟生成一个，文件名格式为：log\_20151016\_13.1444973768543.lzo

目标文件采用lzo压缩。

> agent\_lxw1234.sinks.sink1.type = hdfs  
> agent\_lxw1234.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/lxw1234/%Y%m%d  
> agent\_lxw1234.sinks.sink1.hdfs.filePrefix = log\_%Y%m%d\_%H  
> agent\_lxw1234.sinks.sink1.hdfs.fileSuffix = .lzo  
> agent\_lxw1234.sinks.sink1.hdfs.useLocalTimeStamp = true  
> agent\_lxw1234.sinks.sink1.hdfs.writeFormat = Text  
> **agent\_lxw1234.sinks.sink1.hdfs.fileType = CompressedStream  
> agent\_lxw1234.sinks.sink1.hdfs.codeC = lzop**  
> agent\_lxw1234.sinks.sink1.hdfs.rollCount = 0  
> agent\_lxw1234.sinks.sink1.hdfs.rollSize = 0  
> agent\_lxw1234.sinks.sink1.hdfs.rollInterval = 600  
> agent\_lxw1234.sinks.sink1.hdfs.batchSize = 100  
> agent\_lxw1234.sinks.sink1.hdfs.threadsPoolSize = 10  
> agent\_lxw1234.sinks.sink1.hdfs.idleTimeout = 0  
> agent\_lxw1234.sinks.sink1.hdfs.minBlockReplicas = 1

参考：[http://lxw1234.com/archives/2015/10/527.htm][http_lxw1234.com_archives_2015_10_527.htm]

我们的写入hdfs sink的配置如下：

> a1.sinks.hdfsSink.type = hdfs
> 
> a1.sinks.hdfsSink.hdfs.path = hdfs://hadoop-master.com:9000/log/%\{obj\}
> 
> a1.sinks.hdfsSink.hdfs.filePrefix = %Y-%m-%d-%H-%M-log
> 
> a1.sinks.hdfsSink.hdfs.round = false
> 
> a1.sinks.hdfsSink.hdfs.roundValue = 5
> 
> a1.sinks.hdfsSink.hdfs.batchSize = 1000
> 
> a1.sinks.hdfsSink.hdfs.roundUnit = minute
> 
> a1.sinks.hdfsSink.hdfs.minBlockReplicas=1
> 
> a1.sinks.hdfsSink.hdfs.fileType=DataStream
> 
> a1.sinks.hdfsSink.hdfs.writeFormat=TEXT
> 
> a1.sinks.hdfsSink.hdfs.rollSize=0
> 
> a1.sinks.hdfsSink.hdfs.rollInterval=60
> 
> a1.sinks.hdfsSink.hdfs.rollCount=0
> 
> a1.sinks.hdfsSink.hdfs.callTimeout = 60000

![Image 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70][]

参考：[http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#hdfs-sink][http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]

[http_lxw1234.com_archives_2015_10_527.htm]: http://lxw1234.com/archives/2015/10/527.htm
[Image 1]: 
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70]: /images/20220309/b205a538459b450494eec59cf17810d0.png
[http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]: http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink