Flume常用Source与Sink类型及参数

「爱情、让人受尽委屈。」 2022-12-26 02:21 122阅读 0赞

# Flume常用Source与Sink类型及参数 #

## 一、Source ##

netcat tcp source【监听端口数据】常用属性:
    	    	type: netcat
    		    bind: 监听哪个主机
    		    port: 监听哪个端口

exec source【监听单个追加文件】常用属性:
    			type: exec
    			command: tail -F 文件路径
    			batchSize: 定义每批次采集多少数据, 必须<=事务容量大小
    		exec source的缺点:exec的tail -F命令只会显示文件的最后N行,如果flume在集采的过程中宕机，在宕机的过程中向文件中写入了大量的数据，后续Flume启动之后，因为只会采集最后N行的数据，所以可能出现数据丢失

Spooling Directory Source【监听目录下新增文件】
    		 	Spooling Directory Source的缺点:
    				1、只能监听目录下新增文件，如果某一个文件已经采集完成，后续再向该文件中写入新内容，flume不会进行采集
    				2、不能断点续传
    			Spooling Directory Source常用属性:
    				type:spooldir
    				spoolDir: 监听的目录
    				includePattern: 通过正则表达式监听符合要求的文件
    				batchSize：定义每批次采集多少数据, 必须<=事务容量大小

Taildir Source【监听目录下新增文件以及追加文件】
    			Taildir Source优点:
    				1、监听目录下新增文件以及追加文件
    				2、能够断点续传
    			
    			Taildir Source常用属性:
    				type: TAILDIR
    				filegroups: 定义文件组的名称，多个文件组名称通过空格分隔
    				filegroups.<filegroupName> : 定义对应的文件组监听的目录、文件
    				positionFile： 记录上一次采集到了文件的哪个位置的文件
    				batchSize：定义每批次采集多少数据, 必须<=事务容量大小
    			
    			avro source[一般flume传递数据给flume的时候使用]常用属性:
    				type: avro
    				bind: 监听哪个主机
    				port: 监听哪个端口

kafka  surce 常用属性：
                 type：org.apache.flume.channel.kafka.KafkaChannel
                 kafka.bootstrap.servers：指定kafka集群
                 kafka.topic：指定数据保存到那个topic
                 kafka.consumer.group.id： 指定消费者组的名称
                 kafka.consumer.auto.offset.reset：指定消费者组第一次消费时从哪里开始消费topic中的数据

## 二、Channel: ##

memory channel 常用属性:
    		type: memory
    		capacity: channel的容量大小
    		transactionCapacity： 事务容量大小,必须<=capacity

kafka  channel 常用属性：
                 type：org.apache.flume.channel.kafka.KafkaChannel
                 kafka.bootstrap.servers：指定kafka集群
                 kafka.topic：指定数据保存到那个topic
                 parseAsFlumeEvent：指定source采集的数据是否以event的形式写入kafka[false表示只写body里面的数据]
                 kafka.consumer.group.id：指定消费者组的名称
                 kafka.consumer.auto.offset.reset：指定消费者组第一次消费时从哪里开始消费topic中的数据

## 三、Sink ##

HDFS sink[将数据保存到HDFS] 常用属性:
    		type: hdfs
    		hdfs.path: 指定数据保存到HDFS哪个路径
    		hdfs.filePrefix: 指定文件的前缀
    		hdfs.rollInterval: 指定间隔多久滚动生成一个新文件，后续数据项文件中写入不会再向老文件中写
    		hdfs.rollSize: 指定文件多大之后滚动生成一个新文件，后续数据项文件中写入不会再向老文件中写，在工作中设置的时候要比128M稍微小一点
    		hdfs.rollCount: 指定向文件中写入多少个Event之后滚动生成一个新文件，后续数据项文件中写入不会再向老文件中写，在工作中一般设置为0禁用
    		hdfs.batchSize: 定义sink每个批次从channel拉取多少数据，必须<=事务容量大小
    		hdfs.codeC: 定义数据保存到HDFS的时候使用哪种压缩[gzip, bzip2, lzo, lzop, snappy]
    		hdfs.fileType: 定义数据保存到HDFS的是以哪种文件格式保存[SequenceFile:二进制文件, DataStream:文本文件, CompressedStream:压缩文件]
    		hdfs.round: 指定是否按照指定的时间间隔生成文件夹
    		hdfs.roundValue: 指定时间间隔的值
    		hdfs.roundUnit: 指定时间单位
    		hdfs.userLocalTimeStamp: 是否使用本地时间戳

Logger Sink【数据保存到HDFS日志中】:
    		type: logger

avro sink[发送数据到其他的flume]常用属性:
    	    type: avro
    		hostname: 数据发送到哪个主机
    		port: 数据发送到哪个端口
    		batch-size： 定义sink每个批次从channel拉取多少数据，必须<=事务容量大小

File Roll Sink【数据保存到本地磁盘】常用属性:
    		type: file_roll
    		sink.directory: 数据保存的路径
    		sink.batchSize： 定义sink每个批次从channel拉取多少数据，必须<=事务容量大小