Apache Flume 用途

雨点打透心脏的1/2处 2022-10-02 13:49 136阅读 0赞

官网：

[http://flume.apache.org/][http_flume.apache.org]

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of streaming event data.

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z3azE5ODQwMzAx_size_16_color_FFFFFF_t_70][]

Agent主要由:source,channel,sink三个组件组成.

Source:

从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式,比如Avro,Thrift,twitter1%等

Channel:

channel是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着一共桥梁的作用,channal是一个完整的事务,这一点保证了数据在收发的时候的一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memort channel等.

sink:

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase.

基本上常用的类型 Source和sink都有了（所以只需要写配置文件）也可以自定义采用的是java类。

[http_flume.apache.org]: http://flume.apache.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z3azE5ODQwMzAx_size_16_color_FFFFFF_t_70]: /images/20220112/9a261f8eab0b4705b3548ec30abd2553.png

发表评论取消回复

表情：

评论列表（有 0 条评论，136人围观）

还没有评论，来说两句吧...

相关阅读

相关 Apache Flume

Apache Flume 介绍架构 Flume环境搭建配置文件结构快速入门

妖狐艹你老母/ 2023年05月30日 03:42/ 0 赞/ 30 阅读

相关 Apache Flume 用途

官网： [http://flume.apache.org/][http_flume.apache.org] Flume is a distributed, reliable

雨点打透心脏的1/2处/ 2022年10月02日 13:49/ 0 赞/ 137 阅读

相关 apache flume collector 安装

2、Flume Collector安装（通过extends AbstractSink implements Configurable，直接写入数据库） 2.1 安装环境

我就是我/ 2022年08月22日 03:49/ 0 赞/ 124 阅读

相关 apache flume agent安装

1、Flume Agent安装（采用spoolDir模式以便获取系统、应用等日志信息）注：使用jyapp用户安装一台虚拟机部署了多个JAVA应用同时需要部署

﹏ヽ暗。殇╰゛Y/ 2022年08月22日 03:49/ 0 赞/ 124 阅读

相关 1.Apache Flume 简介

一.简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同

快来打我*/ 2022年06月14日 00:14/ 0 赞/ 238 阅读

相关 Apache Flume 入门教程

概要 Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限

た入场券/ 2022年04月18日 05:39/ 0 赞/ 317 阅读

相关 Apache Flume 安装文档、日志收集

简介：官网 [http://flume.apache.org][http_flume.apache.org] 文档 [https://flume.apach

迷南。/ 2021年12月15日 08:43/ 0 赞/ 301 阅读

相关 Apache Flume 简介

转自：http://blog.163.com/guaiguai\_family/blog/static/20078414520138100562883/ Flume 是 Cl

ゝ一纸荒年。/ 2021年11月10日 04:02/ 0 赞/ 253 阅读

相关 Apache Flume教程

<table> <tbody> <tr> <td><a href="http://www.codingdict.com/article/9414" title

雨点打透心脏的1/2处/ 2021年09月22日 19:00/ 0 赞/ 227 阅读

相关【Flume】org.apache.flume.Context.getSubProperties(Ljava/lang/String;)

【问题描述】今天在CDH集群中使用Flume的时候报了如下的错误： 2020-04-10 11:02:33,627 (conf-file-polle

红太狼/ 2021年07月26日 16:38/ 0 赞/ 355 阅读