flume采集目录文件到HDFS

客官°小女子只卖身不卖艺 2022-02-21 05:44 319阅读 0赞

### flume采集目录文件到HDFS ###

*  配置

# 配置 #

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = spooldir
    a1.sources.r1.spoolDir = /root/hadoop/logs
    a1.sources.r1.fileHeader = true
    
    # Describe the sink
    a1.sinks.k1.type = hdfs
    a1.sinks.k1.hdfs.path =hdfs://zk1:9000/weblog/flume-collection/%y-%m-%d/%H-%M
    a1.sinks.k1.hdfs.filePrefix = access_log
    a1.sinks.k1.hdfs.maxOpenFiles = 5000
    a1.sinks.k1.hdfs.batchSize= 100
    a1.sinks.k1.hdfs.fileType = DataStream
    a1.sinks.k1.hdfs.writeFormat =Text
    a1.sinks.k1.hdfs.rollSize = 102400
    a1.sinks.k1.hdfs.rollCount = 1000000
    a1.sinks.k1.hdfs.rollInterval = 60
    a1.sinks.k1.hdfs.round = true
    a1.sinks.k1.hdfs.roundValue = 10
    a1.sinks.k1.hdfs.roundUnit = minute
    a1.sinks.k1.hdfs.useLocalTimeStamp = true
    
    # Use a channel which buffers events in memory
    
    #添加到通道中或者移出的允许时间
    a1.channels.c1.keep-alive = 120
    a1.channels.c1.type = memory
    #默认该通道中最大的可以存储的event数量 
    a1.channels.c1.capacity = 1000
    #每次最大可以从source中拿到或者送到sink中的event数量
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

发表评论取消回复

表情：

评论列表（有 0 条评论，319人围观）

还没有评论，来说两句吧...

相关阅读

相关 flume采集数据到hdfs时报错java.lang.NoSuchMethodError

flume采集数据到hdfs时报错java.lang.NoSuchMethodError 在最近的学习中，我想用flume和kafka以及hdfs设计一个日志采集的管道，

古城微笑少年丶/ 2023年10月04日 16:59/ 0 赞/ 5 阅读

相关 Flume采集数据到HDFS时，文件出现乱码

hdfs.fileType生成的文件类型，默认是Sequencefile DataStream，则为普通文本解决方案在hdfs sink加一行 a1.

不念不忘少年蓝@/ 2022年10月30日 05:20/ 0 赞/ 174 阅读

相关 Flume采集日志写到Hdfs(数仓项目)

目录 Flume版本选择项目流程 Flume核心配置启动flume agent采集数据思考问题

深碍√TFBOYSˉ_/ 2022年10月30日 05:18/ 0 赞/ 163 阅读

相关 Flume采集文件内容上传至HDFS

需求:采集目录中已有的文件内容，存储到HDFS 分析:source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置

落日映苍穹つ/ 2022年08月30日 12:56/ 0 赞/ 171 阅读

相关 flume通过公网ip采集到hdfs上

需求描述：公司的服务器在不同的地市都有分布，需要把不同地方的服务器的日志文件都收集到公司的内网hadoop集群中，来进行分析，（公司的hadoop集群和其他地方的集群不在

深藏阁楼爱情的钟/ 2022年06月07日 03:27/ 0 赞/ 189 阅读

相关 flume文件采集

flume的两种采集模式 1.以文件为答案，只要新增了一个文件就把该文件采集到hdfs上去配置文件如下定义三大组件的名称 agent1.sourc

谁践踏了优雅/ 2022年03月26日 04:14/ 0 赞/ 294 阅读

相关 flume采集日志文件到hdfs

flume采集日志文件到hdfs 配置文件启动命令运行结果 > flume可以从正在输出的日志文件中采集数据存到hdfs中配置文件

叁歲伎倆/ 2022年02月21日 07:47/ 0 赞/ 391 阅读

相关 flume采集目录文件到HDFS

flume采集目录文件到HDFS 配置配置 Name the components on this agent a1.sources =

客官°小女子只卖身不卖艺/ 2022年02月21日 05:44/ 0 赞/ 320 阅读

相关 Flume 案例实操 - 实时读取目录文件到HDFS

使用flume监听整个目录的文件需求分析 1. 创建符合条件的flume配置文件 2. 执行配置文件，开启监控 3. 向目录中添加文件，被监控的目录`/opt/

墨蓝/ 2022年01月30日 11:37/ 0 赞/ 309 阅读

相关 flume采集kafka数据到hdfs报如下错误

运行Flume没多久就报下面的异常： 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) \[ERROR - org.ap

ゞ浴缸里的玫瑰/ 2022年01月25日 23:25/ 0 赞/ 352 阅读