flume串联的简单使用

迈不过友情╰ 2022-06-04 10:28 157阅读 0赞

agent1: exec + memory + avro

agent2: avro + memory + hdfs

\#gent的名称为"a1"

a1.sources = r1

a1.sinks = k1

a1.channels = c1

a1.sources.r1.type = exec

a1.sources.r1.command = tail -F/opt/data/data.log

a1.sources.r1.channels = c1

a1.channels.c1.type = memory

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = 192.168.179.160

a1.sinks.k1.port = 44444

a1.sinks.k1.channel = c1

\#----------------------------------------------------------------

\#gent的名称为"a2"

a2.sources = r1

a2.sinks = k1

a2.channels = c1

a2.sources.r1.type = avro

a2.sources.r1.bind = 192.168.179.160

a2.sources.r1.port = 44444

a2.sources.r1.interceptors = i1

a2.sources.r1.interceptors.i1.type =timestamp

a2.sources.r1.channels = c1

a2.channels.c1.type = memory

a2.sinks.k1.type = hdfs

a2.sinks.k1.hdfs.path =hdfs://hadoop01:8020/data/flume/hdfs/

a2.sinks.k1.hdfs.fileType = DataStream

a2.sinks.k1.hdfs.writeFormat = Text

a2.sinks.k1.channel = c1

flume-ngagent \\

\--namea1  \\

\--conf$FLUME\_HOME/conf \\

\--conf-file$FLUME\_HOME/conf/a.conf \\

\-Dflume.root.logger=INFO,console

发表评论取消回复

表情：

评论列表（有 0 条评论，157人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop学习——flume的简单介绍

flume介绍概述 Flume最早是Cloudera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中定制各

阳光穿透心脏的1/2处/ 2023年10月18日 13:32/ 0 赞/ 101 阅读

相关 Flume最简单使用

文章目录一、简介 1、定义 2、基础架构二、快速入门 1、解压Flume

女爷i/ 2023年10月16日 13:41/ 0 赞/ 17 阅读

相关 flume-ng简单介绍

![Center][] flume 官网：[http://flume.apache.org/FlumeUserGuide.html][http_flume.apache.or

灰太狼/ 2022年08月17日 14:18/ 0 赞/ 158 阅读

相关 Flume学习（四）：Flume Interceptors的使用

对于flume拦截器,我的理解是：在app(应用程序日志)和 source 之间的，对app日志进行拦截处理的。也即在日志进入到source之前，对日志进行一些包装、清新过滤等

分手后的思念是犯贱/ 2022年08月04日 09:25/ 0 赞/ 166 阅读

相关 MR简单串联（ChainMapper/ChainReducer）

元数据：（商品：价格）维护 23 降低实际上低价低价 12 合适的话 8328 哈市 83299 留下 10 留下 9 问

不念不忘少年蓝@/ 2022年07月16日 08:11/ 0 赞/ 121 阅读

相关 flume-ng的简单使用

首先说下怎么安装吧，flume-ng的安装，flume-ng安装特别简单 1：首先下载安装包解压，然后进入到conf目录下，首先把flume-env.sh.templat

小鱼儿/ 2022年07月14日 01:28/ 0 赞/ 136 阅读

相关 flume串联的简单使用

agent1: exec + memory + avro agent2: avro + memory + hdfs \gent的名称为"a1"

迈不过友情╰/ 2022年06月04日 10:28/ 0 赞/ 158 阅读

相关 flume简单介绍

一：flume 的简介与功能架构 1.1 flume 的简介： 1.1.1 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚

ゝ一纸荒年。/ 2022年05月16日 23:29/ 0 赞/ 279 阅读

相关 flume简单实例

flume简单实例配置文件运行结果配置文件定义这个agent中各组件的名字 a1.source

﹏ヽ暗。殇╰゛Y/ 2022年02月21日 03:49/ 0 赞/ 264 阅读

相关 flume简单测试

下载地址 [http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][h

妖狐艹你老母/ 2021年09月29日 02:16/ 0 赞/ 412 阅读