Flume个人心得笔记之Selector安装

朱雀 2021-12-17 01:23 518阅读 0赞

Flume个人心得笔记之Selector安装

目录

  1. Flume个人心得笔记之Selector安装

一.复制模式

一、概述

二、 可配置选项说明

三、示例

二.多路复用模式

一、概述

二、可配置选项说明

三、示例

1.概述

2.配置第一个节点配置

3.启动

4.发送数据

5.接收数据


一.复制模式

一、概述

  1. Selector 默认是复制模式(replicating),即把source复制,然后分发给多个sink

二、 可配置选项说明
















配置项

说明

selector.type

replicating  表示复制模式,source的selector如果不配置,默认就是这种模式

在复制模式下,当source接收到数据后,会复制多分,分发给每一个avro sink

selector.optional

标志通道为可选

三、示例

默认配置,略

二.多路复用模式

一、概述

  1. 在这种模式下,用户可以指定转发的规则。selector根据规则进行数据的分发

二、可配置选项说明
























配置项

说明

selector.type

multiplexing  表示路由模式

selector.header

指定要监测的头的名称

selector.mapping.*

匹配规则

selector.default        

如果未满足匹配规则,则默认发往指定的通道

三、示例

1.概述

01机利用http source接收数据,根据路由规则,发往02,03机。02,03通过avro source接收数据,通过logger sink 打印数据

2.配置第一个节点配置

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70

2,3节点无需改动,默认扇出配置即可

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1

3.启动

20190706201232471.png

4.发送数据

2019070620160018.png

5.接收数据

20190706201616503.png

发表评论

表情:
评论列表 (有 0 条评论,518人围观)

还没有评论,来说两句吧...

相关阅读