使用Flume监听整个目录的文件，并上传至HDFS

Love The Way You Lie 2022-10-16 10:27 214阅读 0赞

**案例需求**：使用Flume监听整个目录的文件，并上传至HDFS  
**需求分析**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]  
**实现步骤：**  
（1）创建配置文件flume-dir-hdfs.conf  
创建一个文件

vim flume-dir-hdfs.conf

添加如下内容

a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = spooldir
    a1.sources.r1.spoolDir = /export/servers/flume/upload
    a1.sources.r1.fileSuffix = .COMPLETED
    a1.sources.r1.fileHeader = true
    #忽略所有以.tmp结尾的文件，不上传
    a1.sources.r1.ignorePattern = ([^ ]*\.tmp)
    
    # Describe the sink
    a1.sinks.k1.type = hdfs
    a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume/upload/%Y%m%d/%H
    #上传文件的前缀
    a1.sinks.k1.hdfs.filePrefix = upload-
    #是否按照时间滚动文件夹
    a1.sinks.k1.hdfs.round = true
    #多少时间单位创建一个新的文件夹
    a1.sinks.k1.hdfs.roundValue = 1
    #重新定义时间单位
    a1.sinks.k1.hdfs.roundUnit = hour
    #是否使用本地时间戳
    a1.sinks.k1.hdfs.useLocalTimeStamp = true
    #积攒多少个Event才flush到HDFS一次
    a1.sinks.k1.hdfs.batchSize = 100
    #设置文件类型，可支持压缩
    a1.sinks.k1.hdfs.fileType = DataStream
    #多久生成一个新的文件
    a1.sinks.k1.hdfs.rollInterval = 60
    #设置每个文件的滚动大小大概是128M
    a1.sinks.k1.hdfs.rollSize = 134217700
    #文件的滚动与Event数量无关
    a1.sinks.k1.hdfs.rollCount = 0
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

（2）启动监控文件夹命令

bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-dir-hdfs.conf
    **```
    说明**：在使用Spooling Directory Source时，不要在监控目录中创建并持续修改文件；上传完成的文件会以.COMPLETED结尾；被监控文件夹每500毫秒扫描一次文件变动。
    （3）向upload文件夹中添加文件
    在/export/servers/flume目录下创建upload文件夹
    
    ```scala
    mkdir upload

向upload文件夹中添加文件

touch aa.txt
    touch bb.tmp
    touch cc.log

（4）查看HDFS上的数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
（5）等待1s，再次查询upload文件夹  
![在这里插入图片描述][20210529214432144.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221014/7bacd338f7d44b9db43e3a1f4e6373be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221014/8472a7efc15a411bbf1b41fd0eb5eb66.png
[20210529214432144.png]: /images/20221014/c6a8bb23b9dd40e8bb0a0289261f0b12.png