flume基础（三）

╰半橙微兮° 2022-05-21 02:56 125阅读 0赞

flume启动

进入flume客户端的bin目录，执行命令：

./flume-ng agent --conf ../conf/ -f ../conf/flumeToKafka.conf -Dflume.root.logger=DEBUG,console -n agentDemo

配置文件名：flumeToKafka，    配置文件中agent的名称：agentDemo

##关闭flume-ng
    1、top  (flume 进程一般在user为root)
    2、shift + m 
    3、ls -l /proc/端口号 
    4、kill -9

Flume提供了可靠地日志采集功能，其高可靠是通过事务机制实现的。而对于Channel的事务我们本部分会介绍MemoryChannel和FileChannel的实现。

configure 中的一些参数

capacity：

The maximum number of events stored in the channel。默认该通道中最大的可以存储的event数量是100，如果没有配置则是默认容量，而配置的容量小于等于0，则也是默认容量。

trasactionCapacity：

The maximum number of events the channel will take from a source or give to a sink per transaction。每次最大可以source中拿到或者送到sink中的event数量也是默认100。事务容量必须小于等于Channel Queue容量（capacity）。

keep-alive：

Timeout in seconds for adding or removing an event。event添加到通道中或者移出的等待超时事件，默认3s。

byteCapacityBufferPercentage：

用来确定byteCapacity的一个百分比参数，即我们定义的字节容量和实际事件容量的百分比，因为我们定义的字节容量主要考虑Event body，而忽略Event header，因此需要减去Event header部分的内存占用，可以认为该参数定义了Event header占了实际字节容量的百分比，默认20%。

byteCapacity：

首先读取配置文件定义的byteCapacity，如果没有定义，则使用默认defaultByteCapacity，而defaultByteCapacity默认是JVM物理内存的80%（Runtime.getRuntime().maxMemory() \* .80）；那么实际byteCapacity=定义的byteCapacity \* (1- byteCapacityBufferPercentage)/ byteCapacitySlotSize；byteCapacitySlotSize默认100，即计算百分比的一个系数。

batchSize：

How many messages to process in one batch. Larger batches improve throughput while adding latency.

是针对Source和Sink提出的一个概念，它用来限制source和sink对event批量处理的。即一次性你可以处理batchSize个event，这个一次性就是指在一个事务中。当处理的event数量超出了batchSize，那么事务就会commit了。这里有一个隐晦的地方，就是batchSize 不能大于transactionCapacity。 这个参数值越大，每个事务提交的范围就越大，taskList的清空等操作次数会减少，因此性能肯定会提升，但是可能在出错时，回滚的范围也会变大。

资料：

构与源码分析-MemoryChannel事务实现 ：  http://jinnianshilongnian.iteye.com/blog/2264899

理解FlumeNG的batchSize和transactionCapacity参数和传输事务的原理：  http://blog.itpub.net/29754888/viewspace-1220545/

Flume - MemoryChannel源码解析：   https://blog.csdn.net/qianshangding0708/article/details/48133023

flume-ng性能优化与架构设计：    https://blog.csdn.net/hijk139/article/details/22861667