三十七、Flume的安装及测试

左手的ㄟ右手 2021-09-04 06:47 396阅读 0赞

上一篇文章我们简单介绍了一下Flume这个框架，本文主要介绍一下Flume的安装及测试，最近这几篇博客内容相对简单一些。关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

**目录**

一、Flume的安装

1.1 下载Flume

1.2 上传解压

1.3 修改配置文件

二、Flume的测试

2.1 环境准备

2.2 创建配置文件

2.3 开启端口、生产数据

2.3.1 开启监听端口

2.3.2 启动端口发送数据

--------------------

# 一、Flume的安装 #

## 1.1 下载Flume ##

首先我们需要去官网下载Flume的安装包，点击[此处][Link 2]进行下载~我们下载的是1.7.0的版本。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

## 1.2 上传解压 ##

将下载好的tar包上传到指定目录，并解压：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

1、解压
    tar -zxvf ./apache-flume-1.7.0-bin.tar.gz -C ../modules/
    
    2、切换到解压缩的目录
    cd ../modules/
    
    3、修改一下文件名，目的是为了简单点，可以不修改
    mv apache-flume-1.7.0-bin flume

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

## 1.3 修改配置文件 ##

1、首先需要切换到flume的conf目录下，将flume-env.sh.template文件复制一份，并改名为flume-env.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

2、在flume-env.sh中添加JAVA\_HOME。

![20201226175347461.png][]

# 二、Flume的测试 #

上面对Flume进行了安装，下面来简单看一下一个官方的案例吧：监控端口数据。启动Flume监控本机44444端口，通过netcat想本机的44444端口发送数据，Flume将监听到的数据打印在控制台。

## 2.1 环境准备 ##

1、首先我们得需要使用netstat命令看一下44444端口是否被占用。netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。该命令主要的选项参数如下所示：

1、-t或--tcp：显示TCP传输协议的连线状况； 
    2、-u或--udp：显示UDP传输协议的连线状况；
    3、-n或--numeric：直接使用ip地址，而不通过域名服务器； 
    4、-l或--listening：显示监控中的服务器的Socket； 
    5、-p或--programs：显示正在使用Socket的程序识别码（PID）和程序名称。

如果端口未被占用，会显示如下内容：

![20201226180334187.png][]

2、安装netcat工具

yum install -y nc

## 2.2 创建配置文件 ##

在flume的conf目录下创建flume-netcat-logger.conf文件，并添加如下配置：

# 声明source、channel、sink。其中，a1表示agent的名称，r1表示a1的输入源，k1表示a1的目的地，c1表示a1的缓冲区。
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # 配置source
    # 输入类型为netcat端口类型
    a1.sources.r1.type = netcat
    # 监听的主机名
    a1.sources.r1.bind = localhost
    # 监听的端口号
    a1.sources.r1.port = 44444
    
    # 指定sink类型为logger
    a1.sinks.k1.type = logger
    
    # 设置channel为内存模式
    a1.channels.c1.type = memory
    # 设置channel的总容量为1000个event
    a1.channels.c1.capacity = 1000
    # 设置channel收集到100条event后再提交事务
    a1.channels.c1.transactionCapacity = 100
    
    # 连接source、channel、sink
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

## 2.3 开启端口、生产数据 ##

### 2.3.1 开启监听端口 ###

bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

![20201226183002820.png][]

其中相关的参数说明如下所示：

1、--conf conf/：表示配置文件存储在conf/目录，--conf也可以使用-c表示。
    2、--name a1：表示给agent起名为a1，--name也可以使用-n代替。
    3、--conf-file conf/flume-netcat-logger.conf：flume本次启动读取的配置文件是在conf目录下的flume-netcat-logger.conf文件。
    4、-Dflume.root.logger==INFO,console：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

### 2.3.2 启动端口发送数据 ###

nc localhost 44444

![20201226183052621.png][]

在监听器页面可以看到已经接收到了数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

好了，本文非常简单，就是安装一下Flume顺便测试一个简单的用例，下篇文章咱们搞几个复杂一点的例子进行试验。你们在这个过程中遇到了什么问题，欢迎留言，让我看看你们遇到了什么问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[Link 2]: https://downloads.apache.org/flume/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/713e203fd2ce437695c822790391e9c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/f493ae295db1439a9fa2b51a0e24eaf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/eb2ee3c5ceef4398a411ea51788f4a11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/97a97b1bb41f4144921daa73a92a3d91.png
[20201226175347461.png]: /images/20210726/d61d6aa4f88646e0a0060f8a784a06a5.png
[20201226180334187.png]: /images/20210726/338e6d2504264d63ab9e536e9a35785c.png
[20201226183002820.png]: /images/20210726/38a5a8785f464fad928dcaa096093755.png
[20201226183052621.png]: /images/20210726/59a650a920d64a3ea7dc122ca5824014.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/7ae3e9a57c2743359efbd0c33e786aff.png