轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.8 Flume部署

小灰灰 2024-03-16 13:22 6阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.8 Flume部署

![在这里插入图片描述][22b782f102ba4981a4558d9cffcfc713.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.8 Flume部署 ######

官网文档：[https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html][https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]

![在这里插入图片描述][6f2f42c525fd4b1ba6da39f0e4bc4dc6.png_pic_center]

这是当前最新版本1.11.0 的官网文档，笔者和老师看一样的吧，1.9.0 的

[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html]

![在这里插入图片描述][eebd9732d9e54c1d9a7b4a31a9e1944d.png_pic_center]

系统需求：

1.  Java 运行时环境 - Java 1.8 或更高版本
2.  内存 - 足够的内存用于源、通道或接收器使用的配置
3.  磁盘空间 - 足够的磁盘空间用于通道或接收器使用的配置
4.  目录权限 - 代理使用的目录的读/写权限

下载：[https://archive.apache.org/dist/flume/1.9.0/][https_archive.apache.org_dist_flume_1.9.0]

![在这里插入图片描述][9ddfa124ff1d4f3eac00bc7cb8f4b241.png_pic_center]

直接下载

![在这里插入图片描述][15f15aef1ac44aa4896aba7bb68673aa.png_pic_center]

推荐迅雷

![在这里插入图片描述][fe3e4edceb6448fa98811d4b8df7cad1.png_pic_center]

甩到服务器上

![在这里插入图片描述][a9aa5f407dca456bac0f370446eaa096.png_pic_center]

![在这里插入图片描述][0d8a97d304e048ad943606fe65247369.png_pic_center]

同样解压到我们的`app` 目录

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C ~/app

![在这里插入图片描述][4a2658ef56ff497e81745f4f46e3149e.png_pic_center]

配置环境变量

export FLUME_HOME=/home/hadoop/app/apache-flume-1.9.0-bin
    export PATH=$FLUME_HOME/bin:$PATH

![在这里插入图片描述][27ff7086dd8548718096574cc9125e19.png_pic_center]

立即生效：`source /ect/profile`

![在这里插入图片描述][95315106a1334fb68b0c39a0969cdb51.png_pic_center]

简单目录结构介绍：

![在这里插入图片描述][998796c2bbb14b43b32694bb74c4e4d7.png_pic_center]

*  bin：脚本
 *  conf：配置文件
    
    改一下，`flume-env.sh`
    
    其实是没有的，自己拿模板复制一个出来用
    
    `cp flume-env.sh.template flume-env.sh`
    
    ![在这里插入图片描述][62b9aabe178a4671a7234330acfac15a.png_pic_center]
    
    之前那个就可以删掉了
    
    ![在这里插入图片描述][ac9ca998a8bd41f6a43ead773b6e9281.png_pic_center]
    
    把自己的`JAVA_HOME` 拷贝进来
 *  lib：jar包

其实配置就这样就差不多了 。

[22b782f102ba4981a4558d9cffcfc713.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/303777ff00044dd4ad375ae3858011bc.png
[https_flume.apache.org_releases_content_1.11.0_FlumeUserGuide.html]: https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html
[6f2f42c525fd4b1ba6da39f0e4bc4dc6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/95ffae65f9a843beb81eec99f5beacc9.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html
[eebd9732d9e54c1d9a7b4a31a9e1944d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2e7b72efc2a943b988b6400ccec48010.png
[https_archive.apache.org_dist_flume_1.9.0]: https://archive.apache.org/dist/flume/1.9.0/
[9ddfa124ff1d4f3eac00bc7cb8f4b241.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f92be2b896114669bb79bb718ee0738e.png
[15f15aef1ac44aa4896aba7bb68673aa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/39b2be7acacd4d818070bcc6b45fa572.png
[fe3e4edceb6448fa98811d4b8df7cad1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6c7cfb1eefea493ca647bb62770ff88f.png
[a9aa5f407dca456bac0f370446eaa096.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7502b1f0ac134fbfafb6e35a981b84c1.png
[0d8a97d304e048ad943606fe65247369.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b35be22cb5f24dd296c1fbbf88966bc6.png
[4a2658ef56ff497e81745f4f46e3149e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/178bb4eba36b47d284fa5c107a7d8c0a.png
[27ff7086dd8548718096574cc9125e19.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b8ea1b8769d34530bc0f5b12dd6432a7.png
[95315106a1334fb68b0c39a0969cdb51.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/68c1cdc8058246759a63059aca6d6350.png
[998796c2bbb14b43b32694bb74c4e4d7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/29ae6013b24e42948b97eb1ffbbf0ab6.png
[62b9aabe178a4671a7234330acfac15a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7733cd116671498fbaa0883f3b48ce55.png
[ac9ca998a8bd41f6a43ead773b6e9281.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d05cd40a7851489790b8eff65d3b29f6.png