Flume个人心得笔记之Interceptor安装

红太狼 2021-12-17 01:25 285阅读 0赞

#            Flume个人心得笔记之Interceptor安装 #

一.概述

二.Timestamp Interceptor

一、概述

二、可配置项说明

三、配置示例

1.创建文件

2.配置第一个节点，2，3默认扇出

3.启动

4.传输数据

5.接收数据 -时间检测

7.启动

8.传输数据

9.查看HDFS接收数据

三.Host Interceptor

一、概述

二、可配置项说明

三、配置示例

四.Static Interceptor

一、概述

二、可配置项说明

三、配置示例

五.UUID Interceptor

一、概述

二、可配置项说明

三、配置示例

六.Search And Replace Interceptor

一、概述

二、可配置项说明

三、配置示例

1.编辑文本

2.添加配置

3.启动

4.传输数据

5.接收数据

七.Regex Filtering Interceptor

一、概述

二、可配置项说明

三、配置示例

1.编辑文本

2.配置文件

3.启动

4.传输数据

5.接收数据

八.Regex Extractor Interceptor

一、概述

二、可配置项说明

三、配置示例

--------------------

# 一.概述 #

1.  Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的
2.  拦截器需要实现org.apache.flume.interceptor.Interceptor接口
3.  拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件
4.  拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截
5.  一个拦截器返回的事件列表被传递给链中的下一个拦截器
6.  如果一个拦截器需要删除事件，它只需要在返回的事件集中不包含要删除的事件即可
7.  如果要删除所有事件，只需返回一个空列表

# 二.Timestamp Interceptor #

## 一、概述 ##

1.  这个拦截器在事件头中插入以毫秒为单位的当前处理时间
2.  头的名字为timestamp，值为当前处理的时间戳
3.  如果在之前已经有这个时间戳，则保留原有的时间戳

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9236in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.7444in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9236in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.7444in;"> timestamp </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.9236in;"> preserveExisting </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.7444in;"> false&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;如果时间戳已经存在是否保留 </td> 
 </tr> 
 </tbody> 
</table>

### 三、配置示例 ###

### 1.创建文件 ###

**vim timein.conf**

### 2.配置第一个节点，2，3默认扇出 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

**i1.type = timestamp  **

### 3.启动 ###

![20190706203157266.png][]

### 4.传输数据 ###

![2019070620325762.png][]

### 5.接收数据 -时间检测 ###

![20190706203227657.png][]

6.把数据放到HDFS上，按天存放

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

### 7.启动 ###

前提HDFS是启动的，可以直接启动Headoop集群

![20190706203919789.png][]

### 8.传输数据 ###

![20190706203942717.png][]

### 9.查看HDFS接收数据 ###

**按天存放   %Y-%m-%D**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2][]

# 三.Host Interceptor #

## 一、概述 ##

1.  这个拦截器插入当前处理Agent的主机名或ip
2.  头的名字为host或配置的名称
3.  值是主机名或ip地址，基于配置

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> 配置参数 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.9729in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.9729in;"> host </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> preserveExisting </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.9729in;"> false&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;如果主机名已经存在是否保留 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> useIP </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.9729in;"> true&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;如果配置为true则用IP，配置为false则用主机名 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> hostHeader </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.9729in;"> host&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;加入头时使用的名称 </td> 
 </tr> 
 </tbody> 
</table>

## 三、配置示例 ##

#配置Agent a1 的组件
    
    a1.sources=r1
    
    a1.sinks=s1 s2
    
    a1.channels=c1 c2
    
    #描述/配置a1的source1
    
    a1.sources.r1.type=http
    
    a1.sources.r1.port=8888
    
    a1.sources.r1.interceptors=i1
    
    a1.sources.r1.interceptors.i1.type=host
    
    #描述sink
    
    a1.sinks.s1.type=avro
    
    a1.sinks.s1.hostname=192.168.234.212
    
    a1.sinks.s1.port=8090
    
    a1.sinks.s2.type=avro
    
    a1.sinks.s2.hostname=192.168.234.213
    
    a1.sinks.s2.port=8090
    
    #描述内存channel
    
    a1.channels.c1.type=memory
    
    a1.channels.c1.capacity=1000
    
    a1.channels.c1.transactionCapacity=100
    
    a1.channels.c2.type=memory
    
    a1.channels.c2.capacity=1000
    
    a1.channels.c2.transactionCapacity=100
    
    #为channel 绑定 source和sink
    
    a1.sources.r1.channels=c1 c2
    
    a1.sinks.s1.channel=c1
    
    a1.sinks.s2.channel=c2

**不常用，不演示了**

# 四.Static Interceptor #

## 一、概述 ##

1.  此拦截器允许用户增加静态头信息使用静态的值到所有事件
2.  目前的实现中不允许一次指定多个头
3.  如果需要增加多个静态头可以指定多个Static interceptors

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.877in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.675in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.877in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.675in;"> static </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.877in;"> preserveExisting </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.675in;"> true </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.877in;"> key </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.675in;"> key&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;要增加的头名 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.877in;"> value </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.675in;"> value&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;要增加的头值 </td> 
 </tr> 
 </tbody> 
</table>

## 三、配置示例 ##

#配置Agent a1 的组件
    
    a1.sources=r1
    
    a1.sinks=s1 s2
    
    a1.channels=c1 c2
    
    #描述/配置a1的source1
    
    a1.sources.r1.type=http
    
    a1.sources.r1.port=8888
    
    a1.sources.r1.interceptors=i1
    
    a1.sources.r1.interceptors.i1.type=static
    
    a1.sources.r1.interceptors.i1.key=addr
    
    a1.sources.r1.interceptors.i1.value=beijing
    
    #描述sink
    
    a1.sinks.s1.type=avro
    
    a1.sinks.s1.hostname=192.168.234.212
    
    a1.sinks.s1.port=9999
    
    a1.sinks.s2.type=avro
    
    a1.sinks.s2.hostname=192.168.234.213
    
    a1.sinks.s2.port=9999
    
    #描述内存channel
    
    a1.channels.c1.type=memory
    
    a1.channels.c1.capacity=1000
    
    a1.channels.c1.transactionCapacity=100
    
    a1.channels.c2.type=memory
    
    a1.channels.c2.capacity=1000
    
    a1.channels.c2.transactionCapacity=100
    
    #为channel 绑定 source和sink
    
    a1.sources.r1.channels=c1 c2
    
    a1.sinks.s1.channel=c1
    
    a1.sinks.s2.channel=c2

# 五.UUID Interceptor #

## 一、概述 ##

1.  这个拦截器在所有事件头中增加一个全局一致性标志，其实就是UUID

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:6.5694in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:6.5694in;"> org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> headerName </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:6.5694in;"> id&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;头名称 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> preserveExisting </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:6.5694in;"> true&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;如果头已经存在，是否保留 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.3965in;"> prefix </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:6.5694in;"> “”&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在UUID前拼接的字符串前缀 </td> 
 </tr> 
 </tbody> 
</table>

## 三、配置示例 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3][]

# 六.Search And Replace Interceptor #

## 一、概述 ##

1.  这个拦截器提供了简单的基于字符串的正则搜索和替换功能

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2125in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.3402in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2125in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.3402in;"> search_replace </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2125in;"> searchPattern </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.3402in;"> 要搜索和替换的正则表达式 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2125in;"> replaceString </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.3402in;"> 要替换为的字符串 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2125in;"> charset&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:2.3402in;"> UTF-8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;字符集编码，默认utf-8 </td> 
 </tr> 
 </tbody> 
</table>

## 三、配置示例 ##

### 1.编辑文本 ###

![20190706204747185.png][]

### 2.添加配置 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4][]

### 3.启动 ###

![20190706205226412.png][]

### 4.传输数据 ###

![20190706205312822.png][]

### 5.接收数据 ###

![20190706205301634.png][]

# 七.Regex Filtering Interceptor #

## 一、概述 ##

1.  此拦截器通过解析事件体去匹配给定正则表达式来筛选事件
2.  所提供的正则表达式即可以用来包含或刨除事件

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2416in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.5986in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2416in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.5986in;"> regex_filter </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2416in;"> regex </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.5986in;"> ”.*” 所要匹配的正则表达式 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.2416in;"> excludeEvents </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:4.5986in;"> false&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;如果是true则刨除匹配的事件，false则包含匹配的事件。 </td> 
 </tr> 
 </tbody> 
</table>

##  三、配置示例 ##

### 1.编辑文本 ###

vim regexin.conf

### 2.配置文件 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5][]

### 3.启动 ###

![20190706205835191.png][]

### 4.传输数据 ###

![20190706205905537.png][]

### 5.接收数据 ###

有数字，刨除，不接收

![20190706210107393.png][]

# 八.Regex Extractor Interceptor #

## 一、概述 ##

1.  使用指定正则表达式匹配事件，并将匹配到的组作为头加入到事件中
2.  它也支持插件化的序列化器用来格式化匹配到的组在加入他们作为头之前

## 二、可配置项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9222in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6333in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9222in;"> type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6333in;"> regex_extractor </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9222in;"> regex </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6333in;"> 要匹配的正则表达式 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:.9222in;"> serializers </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.6333in;"> 匹配对象列表 </td> 
 </tr> 
 </tbody> 
</table>

### 三、配置示例 ###

# 01 define agent name, source/sink/channel
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    # 02 source,http,jsonhandler
    a1.sources.r1.type = http
    a1.sources.r1.bind = master
    a1.sources.r1.port = 6666
    a1.sources.r1.handler = org.apache.flume.source.http.JSONHandler
    # 03 regex extractor interceptor,match event body to extract character and digital
    a1.sources.r1.interceptors = i1 
    a1.sources.r1.interceptors.i1.type = regex_extractor
    a1.sources.r1.interceptors.i1.regex = (^[a-zA-Z]*)\\s([0-9]*$)  # regex匹配并进行分组，匹配结果将有两个部分, 注意\s空白字符要进行转义
    # specify key for 2 matched part
    a1.sources.r1.interceptors.i1.serializers = s1 s2
    # key name
    a1.sources.r1.interceptors.i1.serializers.s1.name = word
    a1.sources.r1.interceptors.i1.serializers.s2.name = digital
    # 04 logger sink
    a1.sinks.k1.type = logger
    # 05 channel,memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    # 06 bind source,sink to channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211214/f7d454a404b64c36a0bfe29d348a550d.png
[20190706203157266.png]: /images/20211214/279f8c8b0e1c453480d6b70a2c45fbc3.png
[2019070620325762.png]: /images/20211214/e0d4760669a94c59ad5ca94606c2eee2.png
[20190706203227657.png]: /images/20211214/cd99b9f7a2784b779e8f0632ea3a815b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20211214/613fa3f5f923409088ab973c7b9170e7.png
[20190706203919789.png]: /images/20211214/5207246cedd54b38935806eb930c0bb3.png
[20190706203942717.png]: /images/20211214/18594e38a1604dbf81eb63838eca5490.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 2]: /images/20211214/6593a34fe1c546a2b2b3027fec2a56c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 3]: /images/20211214/77ee9673ad1643878394add408a361e4.png
[20190706204747185.png]: /images/20211214/0117016531384381aca6b1fc65402ab0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 4]: /images/20211214/3e663d52cbd74069a9f0024eb5188ca2.png
[20190706205226412.png]: /images/20211214/1b20f11aa77d49f49ff5a5adb4a2b874.png
[20190706205312822.png]: /images/20211214/e22b09a65c8246978cf3a13ff4cb4bbc.png
[20190706205301634.png]: /images/20211214/5fe14cec20544e4c862eeeaef367077d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 5]: /images/20211214/259171e6cf574ce384ae1fb308ea6317.png
[20190706205835191.png]: /images/20211214/4d0905a6ade54327b75e6a12c290a8b0.png
[20190706205905537.png]: /images/20211214/baea11e0861e416b8cd44a41a007a4c2.png
[20190706210107393.png]: /images/20211214/6c70fb863f4846778ff02b6624232eb4.png