Hadoop生态Flume（二）安装配置

系统管理员 2023-06-13 09:57 21阅读 0赞

## ##

### 一、flume下载地址 ###

列中的链接应显示可用镜像的列表，并根据您的推断位置进行默认选择。如果看不到该页面，请尝试使用其他浏览器。校验和和签名是主分发服务器上原始文件的链接。

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">Apache Flume二进制文件（tar.gz）</td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz" rel="nofollow">apache-flume-1.9.0-bin.tar.gz</a></td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz.sha512" rel="nofollow">apache-flume-1.9.0-bin.tar.gz.sha512</a></td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz.asc" rel="nofollow">apache-flume-1.9.0-bin.tar.gz.asc</a></td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">Apache Flume来源（tar.gz）</td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-src.tar.gz" rel="nofollow">apache-flume-1.9.0-src.tar.gz</a></td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz.sha512" rel="nofollow">apache-flume-1.9.0-src.tar.gz.sha512</a></td> 
   <td style="text-align:left;"><a href="http://www.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz.asc" rel="nofollow">apache-flume-1.9.0-src.tar.gz.asc</a></td> 
  </tr> 
 </tbody> 
</table>

必须使用PGP或MD5签名来验证下载文件的完整性。

[flume1.9.0下载地址][flume1.9.0]

### 二、安装环境 ###

1.  Java运行时环境-Java 1.8或更高版本
2.  内存-足够的内存，用于源，通道或接收器使用的配置
3.  磁盘空间-足够的磁盘空间用于通道或接收器使用的配置
4.  目录权限-代理使用的目录的读/写权限

### 三、配置 ###

（1）解压安装

cp apache-flume-1.9.0-bin.tar.gz /home/mk
    tar -zxvf apache-flume-1.9.0-bin.tar.gz
    cd apache-flume-1.9.0-bin

（2）配置

cp conf/flume-conf.properties.template conf/flume.conf

flume.conf

# Define a memory channel called ch1 on agent1
    agent1.channels.ch1.type = memory
     
    # Define an Avro source called netcat-source1 on agent1 and tell it
    # to bind to 0.0.0.0:12200. Connect it to channel ch1.
    agent1.sources.netcat-source1.channels = ch1
    agent1.sources.netcat-source1.type = netcat
    agent1.sources.netcat-source1.bind = 0.0.0.0
    agent1.sources.netcat-source1.port = 12200
     
    # Define a logger sink that simply logs all events it receives
    # and connect it to the other end of the same channel.
    agent1.sinks.log-sink1.channel = ch1
    agent1.sinks.log-sink1.type = logger
     
    # Finally, now that we've defined all of our components, tell
    # agent1 which ones we want to activate.
    agent1.channels = ch1
    agent1.sources = netcat-source1
    agent1.sinks = log-sink1

（3）（可选）基于模板创建flume-env.sh文件（或从头开始创建一个文件）。flume-ng可执行文件在--conf / -c命令行选项指定的conf目录中查找并获取名为“ flume-env.sh”的文件。使用flume-env.sh的一个用例是在开发自己的自定义Flume NG组件（例如源和接收器）时通过JAVA\_OPTS指定调试或概要分析选项。

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:left;vertical-align:baseline;"> 
    <div style="margin-left:0px;"> 
     <div style="margin-left:0px;"> 
      <span style="color:#333333;"><span style="color:#333333;"><code>$ cp conf/flume-env.sh.template conf/flume-env.sh</code></span></span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

（4）运行Flume NG

flume-ng可执行文件使您可以运行Flume NG代理或Avro客户端，这对于测试和实验非常有用。无论如何，您都需要指定一个命令（例如`agent`）和一个conf目录（`--conf <conf dir>`）。所有其他选项都是特定于命令的。

要使用上面的flume.conf启动flume服务器：

bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n agent1 -Dflume.monitoring.type=http -Dflume.monitoring.port=23310

请注意，agent名称由指定，`-n agent1`并且必须与配置中指定的agent名称匹配`-f conf/flume.conf`

测试：

$ telnet localhost 12200
    Trying 127.0.0.1...
    Connected to localhost.localdomain (127.0.0.1).
    Escape character is '^]'.
    Hello world! <ENTER>
    OK

输出日志：

[flume1.9.0]: http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz%C2%A0