收集文件夹的内容到HDFS，按照时间分区

骑猪看日落 2022-11-26 08:47 143阅读 0赞

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
     
    # Describe/configure the source
    a1.sources.r1.type = spooldir
    a1.sources.r1.spoolDir = /bigdata/testdata/spool_dir
     
    # Describe the sink
    a1.sinks.k1.type = hdfs
    a1.sinks.k1.hdfs.path=hdfs://localhost:8020/flume/log/%m%d%H%M
    a1.sinks.k1.hdfs.fileType=CompressedStream
    a1.sinks.k1.hdfs.codeC=org.apache.hadoop.io.compress.GzipCodec
    a1.sinks.k1.hdfs.filePrefix=page-views
    a1.sinks.k1.hdfs.rollSize=0
    a1.sinks.k1.hdfs.rollCount	=1000000
    a1.sinks.k1.hdfs.rollInterval=30
    
    a1.sinks.k1.hdfs.useLocalTimeStamp=true
    a1.sinks.k1.hdfs.round=true
    a1.sinks.k1.hdfs.roundValue=1
    a1.sinks.k1.hdfs.roundUnit=minute
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
     
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

发表评论取消回复

表情：

评论列表（有 0 条评论，143人围观）

还没有评论，来说两句吧...

相关阅读

相关 JVM：从串行收集器到分区收集G1

1 前言随着Java的进化过程，涌现出各种不同的垃圾回收器，从串行执行到并行执行，从高吞吐到低延迟，终极目标就是让开发人员专注于程序的代码书写而无需关注内存管理。 J

左手的ㄟ右手/ 2024年03月23日 17:05/ 0 赞/ 41 阅读

相关转载--Flink sql 按时间分区写入到本地文件，hdfs文件

详情请看：[https://www.aboutyun.com/forum.php?mod=viewthread&tid=29104][https_www.aboutyun

骑猪看日落/ 2023年02月25日 15:24/ 0 赞/ 17 阅读

相关收集文件夹的内容到HDFS，按照时间分区

Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.chan

骑猪看日落/ 2022年11月26日 08:47/ 0 赞/ 144 阅读

相关收集文件夹的内容到HDFS（spooldir-memory-hdfs）

Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.chan

àì夳堔傛蜴生んèń/ 2022年11月26日 08:47/ 0 赞/ 160 阅读

相关收集指定文件的内容到HDFS（exec-memory-hdfs）

选型：source channel sink exec memory hdfs Name the components on this

太过爱你忘了你带给我的痛/ 2022年11月26日 08:47/ 0 赞/ 142 阅读

相关 PARTITION 按照月份分区

废话不多说，先上分区SQL CREATE TABLE `demo`( `id` bigint(20) NOT NULL AUTO_INCREMEN

ゝ一纸荒年。/ 2022年08月30日 05:15/ 0 赞/ 211 阅读

相关 Flume 收集Nginx日志到Hdfs Tail-to-hdfs sink

nginx，access.log日志约8000条/s，每100w条数据约253M,需要2min agent1.sources = source1 age

- 日理万妓/ 2022年08月26日 04:47/ 0 赞/ 173 阅读

相关 Flume 收集Nginx日志到Hdfs Tail-to-hdfs sink

转载URL： http://blog.csdn.net/luyee2010/article/details/22159445 nginx，access.log日志

￡神魔★判官ぃ/ 2022年08月04日 09:20/ 0 赞/ 173 阅读

相关从HDFS复制一个文件夹到HDFS

public class FileHandle { / 设置hadoop HDFS 初始化配置方法 @throws IOException /

朱雀/ 2022年07月16日 02:17/ 0 赞/ 198 阅读

相关 java按照目录结构压缩文件夹以及文件夹内内容

[java按照目录结构压缩文件夹以及文件夹内内容][java] ![复制代码][copycode.gif] 1 package com.basis.utils;

我会带着你远行/ 2022年05月03日 12:56/ 0 赞/ 294 阅读