Flume 案例实操 - 监控端口数据

怼烎@ 2022-01-30 06:15 699阅读 0赞

## 需求分析 ##

首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。

1.  Flume监控本机的`44444`端口，通过Flume的`souce`端读取数据
2.  通过telnet工具向本机的`44444`端口发送数据
3.  Flume将获取到的数据通过`sink`端输出到控制台

## 具体实现 ##

### 安装telnet工具 ###

将rpm软件包(xinetd-2.3.14-40.el6.x86\_64.rpm、telnet-0.17-48.el6.x86\_64.rpm和telnet-server-0.17-48.el6.x86\_64.rpm)拷入/opt/software/telnet文件夹下面。  
执行RPM软件包安装命令：

sudo rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm
    sudo rpm -ivh telnet-0.17-48.el6.x86_64.rpm
    sudo rpm -ivh telnet-server-0.17-48.el6.x86_64.rpm

### 检测端口是否被占用 ###

sudo netstat -tunlp | grep 44444

Linux netstat命令用于显示网络状态。  
利用netstat指令可让你得知整个Linux系统的网络情况。

-a (all)显示所有选项，netstat默认不显示LISTEN相关
    -t (tcp)仅显示tcp相关选项
    -u (udp)仅显示udp相关选项
    -n 拒绝显示别名，能显示数字的全部转化成数字。(重要)
    -l 仅列出有在 Listen (监听) 的服務状态
    
    -p 显示建立相关链接的程序名(macOS中表示协议 -p protocol)
    -r 显示路由信息，路由表
    -e 显示扩展信息，例如uid等
    -s 按各个协议进行统计 (重要)
    -c 每隔一个固定时间，执行该netstat命令。

### 创建Flume Agent配置文件 ###

在flume目录下创建job文件夹并进入job文件夹。

mkdir job
    cd job/

创建Flume Agent配置文件flume-telnet-logger.conf

vim flume-telnet-logger.conf

具体配置如下：

# Name the components on this agent   #a1:表示agent的名称
    a1.sources = r1             #r1:表示a1的输入源
    a1.sinks = k1               #k1:表示a1的输出目的地
    a1.channels = c1            #c1:表示a1的缓冲区
    
    # Describe/configure the source
    a1.sources.r1.type = netcat         #表示a1的输入源类型为netcat端口类型
    a1.sources.r1.bind = localhost      #表示a1的输入源类型为netcat端口类型
    a1.sources.r1.port = 44444          #表示a1的监听的端口号
    
    # Describe the sink
    a1.sinks.k1.type = logger           #表示a1的输出目的地是控制台logger类型
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory                #表示a1的channel类型是memory内存型
    a1.channels.c1.capacity = 1000              #表示a1的channel总容量1000个event
    a1.channels.c1.transactionCapacity = 100    #表示a1的channel传输时收集到了100条event以后再去提交事务
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1             #表示将r1和c1连接起来
    a1.sinks.k1.channel = c1                #表示将k1和c1连接起来

## 测试 ##

### 先开启flume监听端口 ###

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

参数说明：

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>实参</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>–conf</td> 
   <td>conf/</td> 
   <td>表示配置文件存储在conf/目录</td> 
  </tr> 
  <tr> 
   <td>–name</td> 
   <td>a1</td> 
   <td>表示给agent起名为a1</td> 
  </tr> 
  <tr> 
   <td>–conf-file</td> 
   <td>job/flume-telnet.conf</td> 
   <td>flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。</td> 
  </tr> 
  <tr> 
   <td>-D</td> 
   <td>flume.root.logger=INFO,console</td> 
   <td>-D表示flume运行时动态修改</td> 
  </tr> 
 </tbody> 
</table>

flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

### 使用telnet工具向本机的44444端口发送内容 ###

telnet localhost 44444

### 结果 ###

![\-w450][-w450]

![\-w1121][-w1121]

## 参考 ##

[官方手册][Link 1]

[-w450]: /images/20220130/1521e65cf1194c2691b19a6986158cd5.png
[-w1121]: /images/20220130/9ad165d0aafb44428a357cf17fa7d522.png
[Link 1]: http://flume.apache.org/FlumeUserGuide.html

发表评论取消回复

表情：

评论列表（有 0 条评论，699人围观）

还没有评论，来说两句吧...

相关阅读

相关 azkaban --- 案例实操

目录案例一：输出Hello World 案例二：作业依赖案例三：内嵌工作流案例四：自动失败案例五：手动失败案例六：JavaProcess

蔚落/ 2024年03月22日 17:14/ 0 赞/ 107 阅读

相关 Flume：监控端口数据官方案例

监控端口数据官方案例 1.案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2. 需求分析： ![在这里插入图片描述][d1768e

蔚落/ 2024年03月17日 23:10/ 0 赞/ 70 阅读

相关 Flume-监控端口数据案例，实时监控单个追加文件案例

文章目录监控端口数据官方案例实时监控单个追加文件监控端口数据官方案例 1）案例需求：使用Flume监听一个端口，收集该端口数据

深藏阁楼爱情的钟/ 2022年11月25日 13:03/ 0 赞/ 274 阅读

相关 Flume案例一：监控 netcat 端口数据案例

> 本文接上篇博客：[Flume介绍、安装、使用案例、自定义Source/Sink、监控][Flume_Source_Sink] > Flume 版本：1.9.0 1.

悠悠/ 2022年10月09日 06:23/ 0 赞/ 229 阅读

相关 Flume 案例实操 - 多数据源汇总案例

![10][] 需求分析 1. hadoop103上的flume-1监控文件`/opt/module/datas/flume_tmp.log` 2. hadoop1

分手后的思念是犯贱/ 2022年01月30日 14:41/ 0 赞/ 318 阅读

相关 Flume 案例实操 - 单数据源多出口案例(二)

单Source、Channel多Sink(负载均衡) ![10][] 需求分析 1. 使用flume-1监控文件变动 2. flume-1将变动内容传递给flum

「爱情、让人受尽委屈。」/ 2022年01月30日 13:01/ 0 赞/ 314 阅读

相关 Flume 案例实操 - 单数据源多出口案例(一)

案例实操 - 单数据源多出口案例(一) 拓扑结构 ![10][] 案例需求 1. 使用flume-1监控文件变动， 2. flume-1将变动内容传递给fl

逃离我推掉我的手/ 2022年01月30日 11:57/ 0 赞/ 280 阅读

相关 Flume 案例实操 - 实时读取目录文件到HDFS

使用flume监听整个目录的文件需求分析 1. 创建符合条件的flume配置文件 2. 执行配置文件，开启监控 3. 向目录中添加文件，被监控的目录`/opt/

墨蓝/ 2022年01月30日 11:37/ 0 赞/ 305 阅读

相关 Flume 案例实操 - 实时读取本地文件到HDFS

实时监控日志文件，并上传到HDFS中。需求分析 1. 创建负责条件的flume配置文件 2. 启动flume，应用配置文件，开启监控 3. 模拟日志产生，日志文

r囧r小猫/ 2022年01月30日 11:01/ 0 赞/ 276 阅读

相关 Flume 案例实操 - 监控端口数据

需求分析首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 1. Flume

怼烎@/ 2022年01月30日 06:15/ 0 赞/ 700 阅读