大数据面试大保健(4) | flume相关总结

迈不过友情╰ 2022-12-11 01:30 139阅读 0赞

# flume三件事 #

*  1.组成source channel sink 事务(put/take)  
    taildir source

（1）断点续传，支持多目录
    （2）哪个flume版本产生的？ 
     Apache1.7  cdh1.6
    （3）没有断点续传功能是什么做的？
     自定义
    （4）taildir挂了怎么办？
     不会丢数据：断点续传
     重复数据
    （5）怎么处理重复数据
     不处理：生产环境下不处理
     处理
     在taildirsource里面增加自定义事物
     找兄弟：下一级处理(hive dwd  sparkstreaming flink的布隆过滤器)
     去重手段(groupby 开窗取窗口第一条 redis)
    （6）taildir source是否支持递归遍历文件夹读取文件？
     不支持     自定义  递归遍历文件夹+读取文件夹

file channel / memory channel / kafka channel

（1） file channel
     数据存储于磁盘  优势：可靠性高； 劣势：传输速度低
     默认容量：100万event
    （2） memory channel
     数据存储于内存   优势：传输速度快； 劣势：可靠性低
     默认容量：100个event
    （3） kafka channel
     数据存储于kafka，基于磁盘
     优势：可靠性高；传输速度快 kafka channel》 memory channle+kafka sink 原因：省去了sink阶段
    （4）kafka channel哪个版本产生的
     flume1.6 版本产生=》 并没有火：因为有bug
     topic-start 数据内容
     topic-event 数据内存   true 和 false 很遗憾，都不起作用
     增加了额外清洗的工作量
     flume1.7解决了这个问题，开始火了。
    （5）生产环境如何选择
     如果下一级是kafka，优先选择kafka channel
     如果是金融，对钱要求准确的工作，选了file channel
     如果就是普通的日志，通常可以选择memory channel
     每天丢几百万数据   pb级  亿万富翁，掉1块钱会捡?

HDFS sink

时间1小时-2小时 or 大小128m or event个数(0禁止)

*  2.三个器(拦截器，选择器，监控器)  
    拦截器

（1）ETL
     数据清洗：轻度清洗是否是{ 开头，}结尾=》保证传输效率
     服务器时间：是否是13位数字，必须全部是数字
    （2）分类型
     start  启动
     event 
    （商品列表，商品详情，点击
     广告
     点赞，评论，收藏
     故障
     后台活跃，通知
     ）
     一个表一个topic，一定能满足下一级所有的消费者；
     可以做适当的轻度聚合
    （3）自定义拦截器的步骤
     定义一类，实现interceptor接口，重写里面4个方法
    (初始化，关闭，单event，多event，创建一个静态内部类Builder接口)
     打包 =》 上传到flume的lib包下 =》 在配置文件中管理拦截器
    （4）拦截器在哪个位置？
     看下图
    （5）拦截器可以不用吗？
     拦截器可以不用；需要在下一级hive的dwd层和sparkStreaming里面处理
     优势：只处理一次，轻度处理    
     劣势：影响性能，不适合做实时推荐这种对实时要求比较高的场景

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]  
选择器

replicating channel selector(默认，发往下一级所有通道)
    multiplexing channel selector(选择性法网对应通道)
    本次项目用multiplexing，根据flume头发往对应的topic
    start-topic   event-topic

监控器

Ganglia
    尝试提交的次数源远大于最终成功的次数。
    自身：增加内存flume-env.sh   一般调到4-6g
    找朋友：增加服务器的台数
             
    搞活动  618  双11 =》 增加服务器 =》 用完再退出
    日志服务器配置：8-16g内存，磁盘8T

*  优化

1.file-channel 可以配置多目录(多磁盘)提高吞吐量
     2.HDFS sink 小文件
     (1) 时间1小时-2小时 or 大小128m or event个数(0禁止)
     3.监管器
       调整内存
       自身     调高自己的内存
       找朋友   增加flume台数
     4.flume挂掉了怎么办？
        请看下图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/edcc54a22843422684b3a75e108d62f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/6ffab6a93037406ca84e4fc0e7ea1a13.png