Flume事务机制

- 日理万妓 2022-09-02 08:09 162阅读 0赞

### Flume事务机制 ###

*  Flume事务机制

# Flume事务机制 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU4NjcxMw_size_16_color_FFFFFF_t_70]  
Flume事务有put和take机制,两者保证数据传输的准确性.  
**Put事务**:Source到Channel  
doPut:将数据从souce写入临时缓冲区putList  
doCommit:检查Channel内存队列是否足够合并  
doRollback:channel 内存队列空间不足,则回滚数据  
take事务:channel到sink  
doTake:将数据取到临时缓冲区takeList  
doCommit:如果数据全部发送成功,则清除临时缓冲区takeList  
doRollback:数据发送过程中如果出现异常，rollback 将临时缓冲区 takeList 中的数据归还给 channel 内存队列  
**数据丢失问题?**  
根据Flume的架构原理，采用FileChannel的Flume是不可能丢失数据的，因为其内部有完善的事务机制（ACID）。  
put 和 take 这两个事务是独立的，并且这两个环节都不可能丢失数据，唯一可能丢失数据的是 Channel 采用 MemoryChannel：  
\[1 \] 在 Agent 宕机时候导致数据在内存中丢失  
\[2 \] Channel 存储数据已满，导致 Source 不再写入数据，造成未写入的数据丢失  
注：Flume不会丢失数据，但是可能会造成数据重复，例如数据已经由Sink发出，但是没有接收到响应，Sink会再次发送数据，导致数据重复。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU4NjcxMw_size_16_color_FFFFFF_t_70]: /images/20220829/2540a3604e4348f1b346f07aa5acc3a0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，162人围观）

还没有评论，来说两句吧...

相关阅读

相关 RabbitMQ 事务机制

存在一个问题：当生产者将消息发送出去之后，如何去确认消息到底有没有到达服务器。 1. 通过事务机制实现: 2. 通过发送方确认(publisher confirm )机制

墨蓝/ 2023年08月17日 17:29/ 0 赞/ 172 阅读

相关 Flume-事务机制，Flume Agent内部原理

文章目录 Flume事务机制 Flume Agent内部原理 Flume事务机制 ![在这里插入图片描述][watermark_type

谁践踏了优雅/ 2022年11月25日 13:10/ 0 赞/ 152 阅读

相关 Flume事务机制

Flume事务机制 Flume事务机制 Flume事务机制 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_

- 日理万妓/ 2022年09月02日 08:09/ 0 赞/ 163 阅读

相关 Flume数据传输事务分析

本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将

爱被打了一巴掌/ 2022年06月14日 02:00/ 0 赞/ 170 阅读

相关 Flume的事务机制和可靠性

实际开发中，或者在面试中，总会碰到诸如Flume如何保证数据传输的完整性？一：Flume的事务机制所以这就不得不提Flume的事务机制（类似数据库

心已赠人/ 2022年06月02日 11:26/ 0 赞/ 157 阅读

相关 Redis - 事务机制

文章目录 Redis - 事务机制 1.传统关系型数据库事务 1.1 事务基本概念 1.2 ACID(事务四大

深藏阁楼爱情的钟/ 2022年01月07日 03:17/ 0 赞/ 250 阅读

相关 redis事务机制

redis官方文档：[Redis transactions][] 相关命令： [DISCARD][] [EXEC][] [MULTI][] [UNW

谁借莪１个温暖的怀抱￠/ 2021年12月21日 01:11/ 0 赞/ 263 阅读

相关 Flume个人心得笔记之事务机制

Flume个人心得笔记之事务机制目录

今天药忘吃喽~/ 2021年12月17日 02:11/ 0 赞/ 366 阅读

相关 Spring事务机制

Spring是事务机制是Spring的核心功能之一，主要提供了两种处理方式：编程式事务和声明式事务。一、编程式事务处理：所谓编程式事务指

矫情吗；*/ 2021年12月14日 20:47/ 0 赞/ 279 阅读

相关事务传播机制

spring事务传播机制 Propagation.REQUIRED：支持当前事务，如果当前没有事务，就新建一个事务。这是最常见的选择，也是spring默认的事务的传播。

水深无声/ 2021年12月09日 01:45/ 0 赞/ 265 阅读