轻松入门大数据第12章零基础：极速入门日志收集系统Flume 12.1 日志收集框架Flume 12.1.2 采集vs收集

曾经终败给现在 2024-03-16 13:03 32阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第12章 零基础：极速入门日志收集系统Flume
         *   *  12.1 日志收集框架Flume
             *   *  12.1.2 采集vs收集

![在这里插入图片描述][318e6e3b988b41b99f49cb611be47d6d.png_pic_center]

#### 第12章 零基础：极速入门日志收集系统Flume ####

##### 12.1 日志收集框架Flume #####

> 1.  产生背景
> 2.  初识Flume
> 3.  竞品分析
> 4.  发展史
> 5.  Agent核心组件
> 6.  部署及使用

###### 12.1.2 采集vs收集 ######

工作中，用得比较多的数据来源：

*  **行为数据**【Flume】
 *  **业务数据**：MySQL… 【如果是MySQL中的数据，可以通过`DataX`、`Sqoop`、`Spark`… 等框架搞过来】
 *  购买数据
 *  爬虫数据

数据有了之后，第一步要经过数据清洗处理，然后存到库中

![在这里插入图片描述][17fef88058c9405e9d5dc7ecba75e377.png_pic_center]

当然这个库【合适就行】就不止一种了

再下去就是对数据进行不同维度的分析，处理完成之后，存储结果，通过前端进行展示

当然我们这一大章要讲就是数据清洗之前，使用Flume 将数据对接进来

![在这里插入图片描述][ba17b95f56944dad9a42a3d49976676a.png_pic_center]

【数据采集 vs 数据收集】

Flume 完成的工作就是把东西从A 搬到B 地方

*  收集：移动 A → B
 *  采集：生成logfile

![在这里插入图片描述][6aea344854624d42b8de8608fa61a064.png_pic_center]

[318e6e3b988b41b99f49cb611be47d6d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/38be03c7860541b29f6bd22ceaa64a63.png
[17fef88058c9405e9d5dc7ecba75e377.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/71ed5f5c60c4486e8d26906962b8191b.png
[ba17b95f56944dad9a42a3d49976676a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/76fbbaecd14e43e48e5e016c17d14565.png
[6aea344854624d42b8de8608fa61a064.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c1d37ca6ac7e4bd8ae5cddd3cde76f99.png