flume简单测试

妖狐艹你老母 2021-09-29 02:16 416阅读 0赞

下载地址

[http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][http_www.apache.org_dyn_closer.lua_flume_1.9.0_apache-flume-1.9.0-bin.tar.gz]

官方手册

[http://flume.apache.org/documentation.html][http_flume.apache.org_documentation.html]

1、进入apache-flume-1.8.0-bin\\conf文件夹中创建一个example.conf文件

# example.conf: A single-node Flume configuration
    
    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

2、使用cmd，进入apache-flume-1.8.0-bin/bin，运行下面命令启动Flume

flume-ng agent --conf ../conf --conf-file ../conf/example.conf --name a1 -property flume.root.logger=INFO,console

在console最后能看到下面这个端口监听提示表示Flume进程正常启动了

3、启动另外一个cmd，使用telnet连接到44444端口并发送信息Hello World

通过NC命令链接44444接口发送数据 nc localhost 44444

在Flume的console中可以看到数据

[http_www.apache.org_dyn_closer.lua_flume_1.9.0_apache-flume-1.9.0-bin.tar.gz]: http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
[http_flume.apache.org_documentation.html]: http://flume.apache.org/documentation.html

发表评论取消回复

表情：

评论列表（有 0 条评论，416人围观）

还没有评论，来说两句吧...

相关阅读

相关 flume-ng简单介绍

![Center][] flume 官网：[http://flume.apache.org/FlumeUserGuide.html][http_flume.apache.or

灰太狼/ 2022年08月17日 14:18/ 0 赞/ 162 阅读

相关 flume-ng的简单使用

首先说下怎么安装吧，flume-ng的安装，flume-ng安装特别简单 1：首先下载安装包解压，然后进入到conf目录下，首先把flume-env.sh.templat

小鱼儿/ 2022年07月14日 01:28/ 0 赞/ 136 阅读

相关 flume串联的简单使用

agent1: exec + memory + avro agent2: avro + memory + hdfs \gent的名称为"a1"

迈不过友情╰/ 2022年06月04日 10:28/ 0 赞/ 158 阅读

相关 Flume简介及部署、测试

一、Flume简介 1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 2) Fl

「爱情、让人受尽委屈。」/ 2022年05月21日 00:30/ 0 赞/ 254 阅读

相关 flume简单介绍

一：flume 的简介与功能架构 1.1 flume 的简介： 1.1.1 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚

ゝ一纸荒年。/ 2022年05月16日 23:29/ 0 赞/ 282 阅读

相关 flume简单实例

flume简单实例配置文件运行结果配置文件定义这个agent中各组件的名字 a1.source

﹏ヽ暗。殇╰゛Y/ 2022年02月21日 03:49/ 0 赞/ 269 阅读

相关 Flume 监控之测试 Ganglia

配置修改修改`/opt/module/flume-1.7.0/conf`目录下的flume-env.sh配置 JAVA_OPTS="-Dflume.monit

刺骨的言语ヽ痛彻心扉/ 2022年01月30日 14:53/ 0 赞/ 296 阅读

相关 flume 测试 hive sink

测试flume，将数据送到hive表中，首先建表。 create table order_flume( order_id string, user_i

た入场券/ 2021年11月26日 19:40/ 0 赞/ 306 阅读

相关 flume简单搭建(一)

下载flume官网下载 [http://flume.apache.org/download.html][http_flume.apache.org_download.html

我会带着你远行/ 2021年09月29日 23:00/ 0 赞/ 357 阅读

相关 flume简单测试

下载地址 [http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][h

妖狐艹你老母/ 2021年09月29日 02:16/ 0 赞/ 417 阅读