ElasticSearch 慕课网（二）

淡淡的烟草味﹌ 2022-03-16 08:35 396阅读 0赞

# 第三章  Beats 和 FileBeat 入门 #

## 第一节 Beats 的简介 ##

官网 ：[https://www.elastic.co/products/beats][https_www.elastic.co_products_beats]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70][]

**1、官方定义 ：轻量级的数据传送者 -- Lightweight Data Shipper**

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。

### 轻量型。    从源头采集。  简单明了。 ###

**2、种类 ：Filebeat  日志文件 **

Metricbeat  度量文件 --像操作系统 CUP数据、内存、磁盘、常用软件。（好处：可视化的分析、报警等功能）
    
    Packetbeat ：网络数据 -- 抓包、分析服务器的网络传输情况
    
    Winlogbeat ：Windows 数据
    
    Heartbeat :健康检查

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 1][]

## 第二节 FileBeat 简介 ##

**处理流程 ：输入input 、处理filter 、 输出output **

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 2][]

### 第三节 Filebeat 配置简介 ###

**一、input 配置**

①、yaml语法
    
    ②、filebeat 其中的一个组成是 ：prospector ；在配置文件里就会有一个 prospectors的配置文件，而且 filebeat 不止有一个 prospector ，可以有多个；在yaml语法里，所以prospectors是数组的形式，数组的形式是由 “-”来实现的 。
    
    每一个prospector 都有一个输入的类型 input_type ；他目前有两个类型 log 和stdin(标准输入---标准输入把日志文件传给filebeat，然后进行处理) ； 
    
    log 下会有一个 paths ,他也是一个数组的形式，所以也需要 ”-”来实现。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 3][]

**二、output 配置**

有哪些output 对象？
    
    Console ：标准输出 ；
    
    Elasticsearch ；
    
    Logstash ；
    
    Kafka ；
    
    Redis ；
    
    File --把一个日志文件输出到另一个日志文件中 。

![20190227120149309.png][]   ![20190227120157843.png][]

**三、 Filebeat Filter 的配置简介**

filebeat filter 的处理能力
    
    ①、input 时处理
    
    include_lines : 达到某些条件的时候，读入这一行
    
    exclude_lines ：达到某些条件的时候，不读入这一行
    
    exclude_files：当文件名符合某些条件的时候，不读取这个文件
    
    ②、output 前处理 --Processor
    
    drop_event ：读取到某一条，满足了某个条件，不输出
    
    drop_fields ：读取到某一条，满足了某个条件，不输出这个字段
    
    Decode_json_fields ：把这条数据里面符合json格式的字段，去做json的解析
    
    Include_fields ：加入一些字段，或者是只想取数据里面的某一些字段

例如：

①、把DBG 日志丢弃，不做存储

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 4][]

②、json字段的处理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 5][]

## 第四节  Filebeat 高级使用简介 ##

**1、Filebeat + Elasticsearch Ingest Node :**   原因：Filebeat 缺乏数据转换的能力

Elasticsearch Ingest Node ：

①、新增的node类型；

②、在数据写入es前对数据进行处理转换

③、pipeline api

**2、Filebeat Module **

①、对于社区常见需求进行配置封装增加易用性 ：
    
    例如 Nginx 、Apache 、 MySQL 的日志
    
    ②、封装内容：
    
    filebeat.yml配置、ingest node pipeline 配置、kibana dashboard

## 第五节 Filebeat下载 ##

官网下载 ：[https://www.elastic.co/downloads/beats/filebeat][https_www.elastic.co_downloads_beats_filebeat]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 6][]

## 第六节 Packetbeat 简介 ##

**1、定义：**

①、实时抓取网络包
    
    ②、自动解析应用层协议：ICMP（v4 and v6）、DNS、HTTP、MySQL、Redis......
    
    ③、Wireshark(抓包工具)

**2、Packetbeat  解析 HTTP 协议**

解析 elasticsearch http 请求

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 7][]

[https_www.elastic.co_products_beats]: https://www.elastic.co/products/beats
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70]: /images/20220316/d195539fc8344564a574b0a1d7ad78d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 1]: /images/20220316/7d55c8b7e49e43fca8d1dc4e43c593c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 2]: /images/20220316/fe90c3fc261b4101b6b56dc31195b998.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 3]: /images/20220316/3b0585682da0403aab88b755c7247daa.png
[20190227120149309.png]: https://img-blog.csdnimg.cn/20190227120149309.png
[20190227120157843.png]: /images/20220316/913a578f41dc48e0ba5ba1f0c55b6e2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 4]: /images/20220316/48cfdc7a6e294c7e9321cae5d31be26a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 5]: /images/20220316/bce282544fdf485aae7e48255536be9e.png
[https_www.elastic.co_downloads_beats_filebeat]: https://www.elastic.co/downloads/beats/filebeat
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 6]: /images/20220316/b74a452a650e4225a3fd0375c5d1a712.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg5NDA1_size_16_color_FFFFFF_t_70 7]: /images/20220316/66e0668672f848d28c2556d49dc10376.png