【全文检索_11】Logstash 基本使用

不念不忘少年蓝@ 2022-10-29 07:39 26阅读 0赞

## 1.1 基本介绍 ##

### 1.1.1 工作原理 ###

Logstash 是由 JRuby 编写的，使用基于消息的简单架构，在 JVM 上运行(本篇博客主要介绍 Logstash 基本使用，介绍请见 [☞【全文检索\_09】Logstash 基本介绍][09_Logstash])。Logstash 的事件处理流水线有三个主要角色完成：inputs → filters → outputs。必须定义这些过程的配置才能使用 Logstash，尽管不是每一个都必须的。在过滤器的部分，它可以对数据源的数据进行分析，丰富，处理等等，但是我们可以不使用过滤器。在输出的部分，我们可以有多于一个以上的输出。

![在这里插入图片描述][20210210200752215.png_pic_center]

### 1.1.2 各组件可用插件 ###

![在这里插入图片描述][20210216203721493.png_pic_center]

### 1.1.3 启动参数 ###

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">说明</th> 
   <th align="left">举例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">-e</td> 
   <td align="left">立即执行，使用命令行里的配置参数启动实例</td> 
   <td align="left"><code>./bin/logstash -e 'input { stdin {} } output { stdout {} }'</code></td> 
  </tr> 
  <tr> 
   <td align="left">-f</td> 
   <td align="left">指启动实例的配置文件</td> 
   <td align="left"><code>./bin/logstash -f first-pipeline.conf</code></td> 
  </tr> 
  <tr> 
   <td align="left">-t</td> 
   <td align="left">测试配置文件的正确性</td> 
   <td align="left"><code>./bin/logstash -f first-pipeline.conf -t</code></td> 
  </tr> 
  <tr> 
   <td align="left">-l</td> 
   <td align="left">Logstash 内部日志输出目录</td> 
   <td align="left"><code>./bin/logstash -f first-pipeline.conf -l logs/test.log</code></td> 
  </tr> 
  <tr> 
   <td align="left">-w</td> 
   <td align="left">指定 filer 线程数量，默认线程数是 5</td> 
   <td align="left"><code>./bin/logstash -f first-pipeline.conf -w 10</code></td> 
  </tr> 
 </tbody> 
</table>

## 1.2 inputs ##

### 1.2.1 File 监听插件 ###

#### ☞ 概述 ####

文件监听插件主要用来抓取文件的变化信息，将变化信息封装成 event 进程处理或者传递。这里介绍几个 File 插件的参数以及简单示例，详细内容见  
[☞ 官方文档][Link 1]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">path</td> 
   <td align="left">Array</td> 
   <td align="left"></td> 
   <td align="left">匹配监听文件【必设项】</td> 
  </tr> 
  <tr> 
   <td align="left">exclude</td> 
   <td align="left">Array</td> 
   <td align="left"></td> 
   <td align="left">排除项，排除匹配某个文件</td> 
  </tr> 
  <tr> 
   <td align="left">close_older</td> 
   <td align="left">Number</td> 
   <td align="left">1 hour</td> 
   <td align="left">设置文件多久秒内没有更新就关掉对文件的监听</td> 
  </tr> 
  <tr> 
   <td align="left">delimiter</td> 
   <td align="left">String</td> 
   <td align="left">\n</td> 
   <td align="left">文件内容的行分隔符</td> 
  </tr> 
  <tr> 
   <td align="left">start_position</td> 
   <td align="left">beginning / end</td> 
   <td align="left">end</td> 
   <td align="left">选择 Logstash 最初开始读取文件的位置，默认从结尾开始</td> 
  </tr> 
 </tbody> 
</table>

除上述特有参数以外，还有诸多类似于下表的公共参数，所有插件中均可使用公共参数。详见 [☞ 官方文档][Link 2]

#### ☞ 示例 ####

input
      file { 
        path => ["/var/log/*.log", "/var/log/message"]
        start_position => "beginning"
      }
    }

### 1.2.2 Beats 监听插件 ###

#### ☞ 概述 ####

Beats插件用于建立监听服务，该输入插件使 Logstash 接收 Filebeat 或者其他 beat 发送的事件。这里介绍几个 Beats 插件的参数以及简单示例，详细内容见  
[☞ 官方文档][Link 3]

#### ☞ 常用参数 ####

#### ☞ 示例 ####

input { 
      beats { 
        port => 5044
      }
    }

### 1.2.3 TCP 监听插件 ###

#### ☞ 概述 ####

TCP 插件通过 TCP Socket 读取事件，像标准输入和文件输入一样，每个事件都假定为一行文本。根据模式，可以接受来自 Client 的连接，也可以连接到 Server。这里介绍几个 TCP 插件的参数以及简单示例，详细内容见  
[☞ 官方文档][Link 4]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">host</td> 
   <td align="left">String</td> 
   <td align="left">0.0.0.0</td> 
   <td align="left">监听的 IP 地址</td> 
  </tr> 
  <tr> 
   <td align="left">port</td> 
   <td align="left">Number</td> 
   <td align="left"></td> 
   <td align="left">监听的端口【必设项】</td> 
  </tr> 
  <tr> 
   <td align="left">mode</td> 
   <td align="left">String</td> 
   <td align="left">server</td> 
   <td align="left">若是 server 则监听 client 连接；若是 client 则连接 server</td> 
  </tr> 
  <tr> 
   <td align="left">proxy_protocol</td> 
   <td align="left">Boolean</td> 
   <td align="left">false</td> 
   <td align="left">是否启用代理协议，支持 V1</td> 
  </tr> 
  <tr> 
   <td align="left">ssl_enable</td> 
   <td align="left">Boolean</td> 
   <td align="left">false</td> 
   <td align="left">是否启用 ssl</td> 
  </tr> 
 </tbody> 
</table>

#### ☞ 示例 ####

input { 
      tcp { 
        port => 12345
        codec => json
      }
    }

### 1.2.4 Redis 监听插件 ###

#### ☞ 概述 ####

Redis 插件将从 Redis 实例读取事件；Redis v1.3.1+ 支持 Logstash 使用的 list 命令，而Redis v1.3.8+ 支持 Logstash 使用的 channel 命令。虽然可以使这些低版本 Redis 正常工作，但在较新的稳定版本中将获得最佳性能和稳定性。建议使用 2.6.0+ 版本。 详见 [☞ 官方文档][Link 5]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">host</td> 
   <td align="left">String</td> 
   <td align="left">127.0.0.1</td> 
   <td align="left">监听的 IP 地址</td> 
  </tr> 
  <tr> 
   <td align="left">port</td> 
   <td align="left">Number</td> 
   <td align="left">6379</td> 
   <td align="left">监听的端口</td> 
  </tr> 
  <tr> 
   <td align="left">data_type</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">Redis 工作方式，有三种参数：list/channel/pattern_channel</td> 
  </tr> 
  <tr> 
   <td align="left">db</td> 
   <td align="left">Number</td> 
   <td align="left">0</td> 
   <td align="left">Redis 数据库号</td> 
  </tr> 
  <tr> 
   <td align="left">key</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">监听的健【必设项】</td> 
  </tr> 
  <tr> 
   <td align="left">password</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">登录密码</td> 
  </tr> 
  <tr> 
   <td align="left">ssl</td> 
   <td align="left">Boolean</td> 
   <td align="left">false</td> 
   <td align="left">是否启用 ssl</td> 
  </tr> 
  <tr> 
   <td align="left">timeout</td> 
   <td align="left">Number</td> 
   <td align="left">5</td> 
   <td align="left">超时时间，单位为秒</td> 
  </tr> 
 </tbody> 
</table>

#### ☞ 示例 ####

input { 
    	redis { 
    		data_type => "list"
    		key => "logstash-test-list"
    		host => "127.0.0.1"
    		port => 6379
    	}
    }

### 1.2.5 Syslog 监听插件 ###

#### ☞ 概述 ####

Syslog 插件将 syslog 消息作为事件通过网络读取。当然，syslog 是一个非常混乱的名词。默认情况下，此输入仅支持 RFC3164 syslog，如果提供了功能性的 grok\_pattern，则可以读取和解析一些非标准的 syslog 格式。详见 [☞ 官方文档][Link 6]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">host</td> 
   <td align="left">String</td> 
   <td align="left">0.0.0.0</td> 
   <td align="left">监听的 IP 地址</td> 
  </tr> 
  <tr> 
   <td align="left">port</td> 
   <td align="left">Number</td> 
   <td align="left">514</td> 
   <td align="left">监听的端口</td> 
  </tr> 
  <tr> 
   <td align="left">proxy_protocol</td> 
   <td align="left">Boolean</td> 
   <td align="left">false</td> 
   <td align="left">是否启用代理协议，支持 V1</td> 
  </tr> 
  <tr> 
   <td align="left">grok_pattern</td> 
   <td align="left">String</td> 
   <td align="left">&lt;%{POSINT:priority}&gt;%{SYSLOGLINE}</td> 
   <td align="left">默认值应读取并正确解析与 RFC3164 完全兼容的 syslog行。<br>覆盖此值，以使用有效的 grok_pattern 解析非标准行。</td> 
  </tr> 
  <tr> 
   <td align="left">syslog_field</td> 
   <td align="left">String</td> 
   <td align="left">message</td> 
   <td align="left">编解码器在解析其余数据之前先处理数据。</td> 
  </tr> 
 </tbody> 
</table>

#### ☞ 示例 ####

input { 
      syslog { 
        port => 12345
        codec => cef
        syslog_field => "syslog"
        grok_pattern => "<%{ POSINT:priority}>%{ SYSLOGTIMESTAMP:timestamp} CUSTOM GROK HERE"
      }
    }

## 1.3 outputs ##

### 1.3.1 ElasticSearch 输出插件 ###

#### ☞ 概述 ####

如果打算使用 Kibana Web 界面来分析 Logstash 转换的数据，请使用 Elasticsearch 输出插件将数据导入 Elasticsearch。此输出仅说明 HTTP 协议，因为它是与 Elasticsearch 进行交互的首选协议。在以前的版本中，可以 transport 协议与 Elasticsearch 通信，该协议现在保留用于节点之间的内部集群通信。 Elasticsearch V7.0.0 中已弃用使用传输协议与集群进行通信，而在 V8.0.0中已将其删除。详见 [☞ 官方文档][Link 7]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">hosts</td> 
   <td align="left">URI</td> 
   <td align="left">[//127.0.0.1]</td> 
   <td align="left">Elasticsearch 服务地址，配置多个开启负载均衡</td> 
  </tr> 
  <tr> 
   <td align="left">index</td> 
   <td align="left">String</td> 
   <td align="left">logstash-%{+yyyy.MM.dd}</td> 
   <td align="left">存入 Elasticsearch 索引</td> 
  </tr> 
  <tr> 
   <td align="left">ilm_enabled</td> 
   <td align="left">true/false/auto</td> 
   <td align="left">auto</td> 
   <td align="left">是否启用 ILM 功能</td> 
  </tr> 
  <tr> 
   <td align="left">user</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">登录用户</td> 
  </tr> 
  <tr> 
   <td align="left">password</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">登录密码</td> 
  </tr> 
  <tr> 
   <td align="left">proxy</td> 
   <td align="left">URI</td> 
   <td align="left"></td> 
   <td align="left">转发 HTTP 代理</td> 
  </tr> 
  <tr> 
   <td align="left">template</td> 
   <td align="left">Path</td> 
   <td align="left"></td> 
   <td align="left">设置模板路径，不设则使用默认模板</td> 
  </tr> 
 </tbody> 
</table>

#### ☞ 示例 ####

output { 
        elasticsearch { 
            hosts => ["127.0.0.1:9200"]
            index => "filebeat-%{ type}-%{ +yyyy.MM.dd}"
            template_overwrite => true
        }
    }

### 1.3.2 Redis 输出插件 ###

#### ☞ 概述 ####

用于将事件写入 Redis 中进行缓存，通常情况下 Logstash 的 Filter 处理比较吃系统资源，复杂的 Filter 处理会非常耗时，如果事件产生速度比较快，可以使用 Redis 作为 buffer 使用。详见 [☞ 官方文档][Link 8]

#### ☞ 常用参数 ####

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">类型</th> 
   <th align="left">默认值</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">host</td> 
   <td align="left">String</td> 
   <td align="left">127.0.0.1</td> 
   <td align="left">监听的 IP 地址</td> 
  </tr> 
  <tr> 
   <td align="left">port</td> 
   <td align="left">Number</td> 
   <td align="left">6379</td> 
   <td align="left">监听的端口</td> 
  </tr> 
  <tr> 
   <td align="left">data_type</td> 
   <td align="left">list/channel</td> 
   <td align="left"></td> 
   <td align="left">Redis 工作方式</td> 
  </tr> 
  <tr> 
   <td align="left">db</td> 
   <td align="left">Number</td> 
   <td align="left">0</td> 
   <td align="left">Redis 数据库号</td> 
  </tr> 
  <tr> 
   <td align="left">key</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">key 名</td> 
  </tr> 
  <tr> 
   <td align="left">password</td> 
   <td align="left">String</td> 
   <td align="left"></td> 
   <td align="left">登录密码</td> 
  </tr> 
  <tr> 
   <td align="left">timeout</td> 
   <td align="left">Number</td> 
   <td align="left">5</td> 
   <td align="left">超时时间，单位为秒</td> 
  </tr> 
 </tbody> 
</table>

#### ☞ 示例 ####

output { 
        redis { 
            host => "127.0.0.1"
            port => 6379
            data_type => "list"
            key => "logstash-list"
        }
    }

### 1.3.3 File 输出插件 ###

#### ☞ 概述 ####

File 插件将事件写入磁盘上的文件，默认情况下，以 json 格式每行写入一个事件。可以使用行编解码器自定义行格式。详见 [☞ 官方文档][Link 9]

#### ☞ 常用参数 ####

#### ☞ 示例 ####

output { 
        file { 
            path => "./test-%{ +YYYY-MM-dd}.txt"
        }
    }

## 1.4 filters ##

### 1.4.1 grok 正则捕获 ###

#### ☞ 概述 ####

Grok 是将非结构化日志数据解析为结构化和可查询内容的好方法。该工具非常适合 syslog 日志， apache 和其他 Web 服务器日志，mysql 日志，以及通常用于人类而非计算机使用的任何日志格式。详见 [官网文档][Link 10]

#### ☞ 示例 ####

filter { 
     grok { 
        match => { 
          "message" => "Duration: %{ NUMBER:duration}"
        }
      }
    }

### 1.4.2 date 时间处理插件 ###

#### ☞ 概述 ####

date 时间处理插件用于解析字段中的日期，然后使用该日期或时间戳作为事件的 logstash 时间戳。详见 [官网文档][Link 11]

#### ☞ 示例 ####

filter { 
          date { 
            match => [ "logdate", "MMM dd yyyy HH:mm:ss" ]
          }
        }

### 1.4.3 mutate 数据修改插件 ###

#### ☞ 概述 ####

mutate 数据修改插件提供了丰富的基础类型数据处理能力。可对字段执行常规变异，即重命名，删除，替换和修改事件中的字段。详见 [官网文档][Link 12]

#### ☞ 示例 ####

filter { 
        mutate { 
            split => ["hostname", "."]
            add_field => {  "shortHostname" => "%{ hostname[0]}" }
        }
    
        mutate { 
            rename => ["shortHostname", "hostname" ]
        }
    }

### 1.4.4 JSON 格式解码插件 ###

#### ☞ 概述 ####

这是一个 JSON 解析过滤器。它采用一个包含 JSON 的现有字段，并将其扩展为 Logstash 事件内的实际数据结构。默认情况下，它将解析的 JSON 放在 Logstash 事件的根中，但是可以使用目标配置将此过滤器配置为将 JSON 放入任何任意事件字段中。详见 [官网文档][Link 13]

#### ☞ 示例 ####

filter { 
      json { 
        source => "message"
        target => "doc"
      }
    }

## 1.5 codecs ##

### 1.5.1 plain 插件 ###

#### ☞ 概述 ####

plain 插件用于纯文本，事件之间没有定界。这主要用于已在其传输协议中定义了帧的输入和输出。详见 [官网文档][Link 14]

#### ☞ 示例 ####

output { 
      # 输出到控制台
      stdout {  
        codec => plain
      }
    }

### 1.5.2 rubydebug 插件 ###

#### ☞ 概述 ####

rubydebug 编解码器将使用 Ruby Amazing Print 库输出 Logstash 事件数据。详见 [官网文档][Link 15]

#### ☞ 示例 ####

output { 
      # 输出到控制台
      stdout {  
        codec => rubydebug 
      }
    }

[09_Logstash]: https://blog.csdn.net/Demo_Null/article/details/113743348
[20210210200752215.png_pic_center]: /images/20221024/1fa29f97cffc4dd68da0a5ae495d1f1d.png
[20210216203721493.png_pic_center]: /images/20221024/5e4033138fb249a6a6079dad13416aad.png
[Link 1]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html
[Link 2]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#plugins-inputs-file-common-options
[Link 3]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-beats.html
[Link 4]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-tcp.html
[Link 5]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-redis.html
[Link 6]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-syslog.html
[Link 7]: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
[Link 8]: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-redis.html
[Link 9]: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-file.html
[Link 10]: https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html
[Link 11]: https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
[Link 12]: https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html
[Link 13]: https://www.elastic.co/guide/en/logstash/current/plugins-filters-json.html
[Link 14]: https://www.elastic.co/guide/en/logstash/current/plugins-codecs-plain.html
[Link 15]: https://www.elastic.co/guide/en/logstash/current/plugins-codecs-rubydebug.html