Flume消费Kafka数据写入HDFS

绝地灬酷狼 2021-09-23 06:44 384阅读 0赞

> 在一个节点上开启Flume，消费Kafka中的数据写入HDFS。

CDH环境

Flume -> 实例 -> 选择节点 -> 配置 -> 配置文件

## 组件
    a1.sources=r1
    a1.channels=c1
    a1.sinks=k1
    
    ## source
    a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
    a1.sources.r1.batchSize = 5000
    a1.sources.r1.batchDurationMillis = 2000
    a1.sources.r1.kafka.bootstrap.servers = cdh-master:9092,cdh-slave01:9092,cdh-slave02:9092
    a1.sources.r1.kafka.topics=topic_cp_api
    
    ## channel
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=100000
    a1.channels.c1.transactionCapacity=10000
    
    ## sink
    a1.sinks.k1.type = hdfs
    a1.sinks.k1.hdfs.path = /origin_data/log/topic_cp_api/%Y-%m-%d
    a1.sinks.k1.hdfs.filePrefix = cp-api-
    ## 时间戳四舍五入,位数,单位
    a1.sinks.k1.hdfs.round = true
    a1.sinks.k1.hdfs.roundValue = 10
    a1.sinks.k1.hdfs.roundUnit = second
    
    ## 文件生成时间秒,大小字节,数量
    a1.sinks.k1.hdfs.rollInterval = 60
    a1.sinks.k1.hdfs.rollSize = 134217728
    a1.sinks.k1.hdfs.rollCount = 0
    
    ## 压缩格式
    a1.sinks.k1.hdfs.fileType = CompressedStream 
    a1.sinks.k1.hdfs.codeC = snappy
    
    ## 拼装
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel= c1

发表评论取消回复

表情：

评论列表（有 0 条评论，384人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据之电商数仓(6) | 消费Kafka数据Flume

目录集群规划日志消费Flume配置 Flume内存优化 Flume组件日志消费Flume启动停止

爱被打了一巴掌/ 2023年03月01日 09:59/ 0 赞/ 61 阅读

相关 Flume读取数据写入Kafka消息队列中

前面已经给大家讲过flume和Kafka的简介以及安装，今天就给大家讲讲二者如何关联使用。本文主要就是讲解如何使用flume采集日志信息后把数据写入kafka中，由于时间

Love The Way You Lie/ 2022年11月26日 10:58/ 0 赞/ 136 阅读

相关 Flume集成logback将日志写入HDFS

Flume集成logback将日志写入HDFS Flume 配置文件(Kafka代替Flume Channel) Spring Boot + l

左手的ㄟ右手/ 2022年10月14日 00:57/ 0 赞/ 136 阅读

相关 flume+kafka+hdfs日志系统

1. flume 1.7.0中的sink类型为hdfs 2.8.0，flume如何将文件发给hdfs中：（1）要导入对应的包 commons-configura

港控/mmm°/ 2022年06月17日 10:54/ 0 赞/ 151 阅读

相关 Flume读取日志数据并写入到Kafka，ConsoleConsumer进行实时消费

最近大数据学习使用了Flume、Kafka等，今天就实现一下Flume实时读取日志数据并写入到Kafka中，同时，让Kafka的ConsoleConsumer对日志数据进行消费

朴灿烈づ我的快乐病毒、/ 2022年06月08日 03:57/ 0 赞/ 588 阅读

相关 flume读取日志数据写入kafka 然后kafka+storm整合

一、flume配置 flume要求1.6以上版本 flume-conf.properties文件配置内容，sinks的输出作为kafka的product \[htm

梦里梦外;/ 2022年06月02日 23:09/ 0 赞/ 187 阅读

相关 spark streaming消费flume数据

kafka和flume都可以承载实时数据，而spark streaming号称实时计算，也是可以消费flume数据的 ![在这里插入图片描述][watermark_type

落日映苍穹つ/ 2022年03月16日 03:20/ 0 赞/ 299 阅读

相关 flume采集kafka数据到hdfs报如下错误

运行Flume没多久就报下面的异常： 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) \[ERROR - org.ap

ゞ浴缸里的玫瑰/ 2022年01月25日 23:25/ 0 赞/ 283 阅读

相关 Flink 将kafka数据写入 HDFS（parquet）

参考： [https://www.cnblogs.com/smartloli/p/10426728.html][https_www.cnblogs.com_smartloli

悠悠/ 2021年12月12日 00:01/ 0 赞/ 627 阅读

相关 Flume消费Kafka数据写入HDFS

> 在一个节点上开启Flume，消费Kafka中的数据写入HDFS。 CDH环境 Flume -> 实例 -> 选择节点 -> 配置 -> 配置文件组件

绝地灬酷狼/ 2021年09月23日 06:44/ 0 赞/ 385 阅读