【全文检索_09】Logstash 基本介绍

亦凉 2022-10-29 01:50 155阅读 0赞

## 1.1 简介 ##

### 1.1.1 概述 ###

ELK 是 Logstash(收集)、Elasticsearch(存储 + 搜索)、Kibana(展示)，这三者的简称，以前称为 ELK Stack，现在称为 Elastic Stack，后来还加入了 Beats 来优化 Logstash。我们之前介绍了 Elasticsearch 和 Kibana 的简单使用，现在重点介绍一下 Logstash。  
  Logstash 是一个开源数据收集引擎，具有实时管道功能。Logstash 可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。Logstash 使用 JRuby 开发，Ruby 语法兼容良好，非常简洁强大，经常与 ElasticSearch，Kibana 配置，组成著名的 ELK 技术栈，非常适合用来做日志数据的分析。当然 Logstash 也可以单独出现，作为日志收集软件，可以收集日志到多种存储系统或临时中转系统，如 MySQL，redis，kakfa，HDFS, lucene，solr 等，并不一定是 ElasticSearch。

![在这里插入图片描述][20210207163842136.png_pic_center]

### 1.1.2 Logstash 工作原理 ###

如下图所示，Logstash 的数据处理过程主要包括：Inputs、Filters、Outputs 三部分，另外在 Inputs 和 Outputs 中可以使用 Codecs 对数据格式进行处理。这四个部分均以插件形式存在，用户通过定义 pipeline 配置文件，设置需要使用的 input、filter、output、codec 插件，以实现特定的数据采集，数据处理，数据输出等功能。

![在这里插入图片描述][20210208090837569.png_pic_center]

#### ☞ 输入 ####

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。即采集各种样式、大小和来源的数据。常见的插件如 file、syslog、redis、beats 等。

![在这里插入图片描述][20210207170015843.png_pic_center]

#### ☞ 筛选 ####

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：利用 Grok 从非结构化数据中派生出结构；从 IP 地址破译出地理坐标；将 PII 数据匿名化，完全排除敏感字段；简化整体处理，不受数据源、格式或架构的影响。即实时解析和转换数据。常见的插件如 grok、mutate、drop、clone、geoip 等。

![在这里插入图片描述][20210207170409321.png_pic_center]

#### ☞ 输出 ####

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。即选择您的存储库，导出您的数据。常见的插件如 elastcisearch、file、graphite、statsd 等。

![在这里插入图片描述][202102071705575.png_pic_center]

### 1.1.3 ELK 架构 ###

![在这里插入图片描述][20210208092134138.png_pic_center]

起初我们是将 Logstash 部署到每一个节点上，让他采集、解析数据比较消耗 CPU 和内存资源，比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。虽然说计算资源丰富的服务器可以提供 Logstash 所需要的资源，但是作为一个采集工具应该尽可能的降低对服务器的影响，所以又引进了 Beats，将其部署到服务器上代替 Logstash 做采集工作，再将采集到的数据发给 Logstash 解析。

![在这里插入图片描述][20210208092107107.png_pic_center]

## 1.2 Beats ##

### 1.2.1 概述 ###

Beats 是一款轻量级的数据采集器，采用 Go 语言编写。它集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

### 1.2.2 Beats 特点 ###

#### ☞ 轻量型 ####

从源头采集，简单明了。Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为功能加以部署，然后便可在 Elasticsearch 中集中处理数据。Beats 能够采集符合 Elastic Common Schema (ECS) 要求的数据，如果您希望拥有更加强大的处理能力，Beats 能够将数据转发至 Logstash 进行转换和解析。

![在这里插入图片描述][20210208093055676.png_pic_center]

#### ☞ 即插即用 ####

借助模块加速数据可视化体验。Filebeat 和 Metricbeat 中包含的一些模块能够简化从关键数据源(例如云平台、容器和系统，以及网络技术)采集、解析和可视化信息的过程。只需运行一行命令，即可开始探索。

![在这里插入图片描述][20210208093225630.png_pic_center]

#### ☞ 从环境中获得洞见 ####

跟踪数据沿袭。Beats 从您的专属环境中收集日志和指标，然后通过来自主机、诸如 Docker 和 Kubernetes 等容器平台以及云服务提供商的必要元数据对这些内容进行记录，然后再传输到 Elastic Stack 中。从监测容器到从无需服务器的架构传输数据，我们确保您拥有所需的上下文。

![在这里插入图片描述][20210208093306502.png_pic_center]

#### ☞ 可扩展 ####

缺少某种采集器？别着急。您可以自行构建并分享。每款开源 Beat 都以 libbeat(转发数据时所用的通用库)为基石。需要监控某个专用协议？自行构建。我们将为您提供所需的构建基块。同时，我们的 Beats 社区正在不断壮大。  
![在这里插入图片描述][20210208093401529.png]

### 1.2.3 Beats 采集器 ###

![在这里插入图片描述][20210208092938134.png]

<table> 
 <thead> 
  <tr> 
   <th align="left">采集器</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">Filebeat</td> 
   <td align="left">轻量日志采集器；当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，Filebeat 将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。</td> 
  </tr> 
  <tr> 
   <td align="left">Metricbeat</td> 
   <td align="left">轻量型指标采集器；用于从系统和服务收集指标。Metricbeat 能够以一种轻量型的方式，输送各种系统和服务统计数据，从 CPU 到内存，从 Redis 到 Nginx，不一而足。</td> 
  </tr> 
  <tr> 
   <td align="left">Packetbead</td> 
   <td align="left">轻量型网络数据采集器；用于深挖网线上传输的数据，了解应用程序动态。Packetbeat 是一款轻量型网络数据包分析器，能够将数据发送至 Logstash 或 Elasticsearch。</td> 
  </tr> 
  <tr> 
   <td align="left">Winlogbeat</td> 
   <td align="left">轻量型 Windows 事件日志采集器；用于密切监控基于 Windows 的基础架构上发生的事件。Winlogbeat 能够以一种轻量型的方式，将 Windows 事件日志实时地流式传输至 Elasticsearch 和 Logstash。</td> 
  </tr> 
  <tr> 
   <td align="left">Auditbead</td> 
   <td align="left">轻量型审计日志采集器；收集您Linux 审计框架的数据，监控文件完整性。Auditbeat 实时采集这些事件，然后发送到 Elastic Stack 其他部分做进一步分析。</td> 
  </tr> 
  <tr> 
   <td align="left">Headtbeat</td> 
   <td align="left">轻量型运行时间监控采集器；运行时间监控，通过主动探测来监控服务可用性。</td> 
  </tr> 
  <tr> 
   <td align="left">Functionbeat</td> 
   <td align="left">面向云端数据的无服务器采集器；在作为一项功能部署在云服务提供商的功能即服务(FaaS)平台上后，Functionbeat 即能收集、传送并监测来自您的云服务的相关数据。</td> 
  </tr> 
 </tbody> 
</table>

## 1.3 安装 ##

### 1.3.1 安装 Logstash ###

首先毫无疑问先去 [官网下载][Link 1] 安装包，与 Elasticsearch、Kibana 一样解压即用。我这里选择安装 Linux 版本。将安装包上传服务器后，直接执行 `tar` 命名解压即可。

![在这里插入图片描述][20210208101251517.gif]

解压完毕后进入解压目录执行 `bin/logstash -e 'input { stdin {} } output { stdout {} }'`，输入 `你好` 打印如下图所示说明搞定了。上述命名中参数 -e 的意思是允许你从命令行指定配置。

![在这里插入图片描述][20210208113408120.png_pic_center]

### 1.3.2 安装 Filebeat ###

FileBeat 也是解压即用的，我们先去 [官网下载][Link 2]，然后扔到服务器上解压。解压完毕后进入解压目录执行 `./filebeat version` 就可以查看 Filebeat 版本信息。

![在这里插入图片描述][20210208141226705.gif]  
![在这里插入图片描述][20210209093851620.png]

[20210207163842136.png_pic_center]: /images/20221024/1209e41719ff480e90f0b80ff6848869.png
[20210208090837569.png_pic_center]: /images/20221024/97f3db925a2745bca51f124d47152348.png
[20210207170015843.png_pic_center]: /images/20221024/45b069167e16439f9c5757a9a7ab3550.png
[20210207170409321.png_pic_center]: /images/20221024/3f496ccdce4c4ef4b750667a58da9999.png
[202102071705575.png_pic_center]: /images/20221024/76fc774c97cc4ea790cf5219851c60cb.png
[20210208092134138.png_pic_center]: /images/20221024/1ddff3d362c44784baed1539773eecf5.png
[20210208092107107.png_pic_center]: /images/20221024/f1c2c2666d2b458183b98f4421a0035d.png
[20210208093055676.png_pic_center]: /images/20221024/f34096ca82b74cfb92aa0f696411f0de.png
[20210208093225630.png_pic_center]: /images/20221024/d0f6c0dbac904ebbaa1f10c4ce0c5188.png
[20210208093306502.png_pic_center]: /images/20221024/35c2f19be2214e6aa311ded1f3c3df98.png
[20210208093401529.png]: /images/20221024/cb42651c5cac4034a24c7ddbfce0a459.png
[20210208092938134.png]: /images/20221024/2d1c50bbee6a417fab7138c0092f7ce5.png
[Link 1]: https://www.elastic.co/cn/logstash
[20210208101251517.gif]: /images/20221024/9bc60961628447b69db85e0aaf5dd68a.png
[20210208113408120.png_pic_center]: /images/20221024/d5425155dadb4717b99f79bf360a8963.png
[Link 2]: https://www.elastic.co/cn/downloads/beats
[20210208141226705.gif]: /images/20221024/48b214d870a34eada13e7472fa6c60ed.png
[20210209093851620.png]: /images/20221024/f524063d05aa478eb9479ce78550aa80.png