Filebeat安装部署教程

Myth丶恋晨 2023-03-13 13:57 14阅读 0赞

### 简介 ###

Filebeat是一个轻量级的日志收集工具，安装在客户端，资源消耗少。Filebeat监控并收集指定路径下的日志文件信息，并将收集到的日志数据发送到Elasticsearch或者Logstash。

### **Filebeat工作示意图** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lGX0xpMTIz_size_16_color_FFFFFF_t_70][]

1.  Filebeat启动后会监控一个或多个目录下的日志文件
2.  对于监控的每一个文件，都会启动一个Harvester进程
3.  Harvester负责监控日志文件内容，收集新增的日志数据并将其发送到libbeat
4.  libbeat会将收到的所有数据进行汇总，并输出到Filebeat配置的输出(Elasticsearch或者Logstash等)

### **工作原理** ###

Filebeat保持每个被监控的文件状态，并频繁的把文件状态从注册表中保存到磁盘上。文件的状态主要是用来记录上一次Harvester读取文件的位置，这样能保证把全部的日志数据读取并发送给后端（logstash或Elasticsearch）。

*  如果Elasticsearch或LogStash不可用了，Filebeat会把最后读取数据的文件位置保存下来，当Elasticsearch或LogStash可用时，能够快速恢复。
 *  如果Filebeat进行了重启，则重启后会从注册表文件中恢复之前记录的文件状态信息，继续从之前已知的位置开始读取数据。

### 安装部署 ###

**一、下载和安装key文件**

$ sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

**二、创建yum源文件**

$ sudo vim /etc/yum.repos.d/elastic.repo

[elastic-6.x]
    name=Elastic repository for 6.x packages
    baseurl=https://artifacts.elastic.co/packages/6.x/yum
    gpgcheck=1
    gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    autorefresh=1
    type=rpm-md

**三、安装**

$ sudo yum install filebeat

安装路径

/usr/share/filebeat/        # 安装路径

配置文件路径

/etc/filebeat/              # 配置文件路径

**四、启动**

$ cd /usr/share/filebeat/bin
    $ filebeat -c /etc/filebeat/filebeat.yml

**五、添加启动服务**

$ sudo chkconfig -add filebeat
    $ service filebeat start|stop|restart    # 启动|停止|重启

**六、配置文件**

**配置文件filebeat.yml**

*  **filebeat.prospectors**

filebeat探矿者，即日志文件的追踪全部由它负责，可配置多个

filebeat.prospectors
    - type: log
      paths:
        - /var/log/*.log                    # 日志文件路径，支持glob模板
      exclude_lines: ['^DBG’]               # 排除日志文件中以DBG开头的行
      include_lines: ['^ERR’, 'WARN’]       # 包含日志文件中以ERR、WARN开头的行
      exclude_files: ['.gz$’]               # 排除文件名以.gz结尾的日志文件
      fields:                               # 额外增加字段
        level: debug
        review: 1
    multiline.pattern: ^\[                  # 对日志文件中多行数据进行匹配
    multiline.negate: false                 # 是否对匹配结果取反，默认为false
    Multiline.match: after

*  **filebeat.config.modules**

glob模板配置

Filebeat.config.modules:
      path: ${path.config}/modules.d/*.yml    # 模板目录
      reload.enabled: false                   # 是否自定重新加载，默认false
      reload.period: 10s                      # 重新加载间隔时间

*  **output**

Elasticsearch

# -------------------------- Elasticsearch output ------------------------------
    output.elasticsearch:
      hosts: ["localhost:9200”]                        # elasticsearch IP和port，可支持多个
      protocol: "https”                                # 网络协议
      username: "elastic”                              # elasticsearch 用户名
      password: “changeme”                             # elasticsearch 密码

Logstash

# ----------------------------- Logstash output --------------------------------
    output.logstash:
      hosts: ["localhost:5044”]                                # logstash IP和port
      ssl.certificate_authorities: ["/etc/pki/root/ca.pem”]    # 用于HTTPS服务器验证的根证书列表
      ssl.certificate: "/etc/pki/client/cert.pem”              # 用于SSL客户端身份验证的证书
      ssl.key: "/etc/pki/client/cert.key”                      # 客户端证书密钥

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lGX0xpMTIz_size_16_color_FFFFFF_t_70]: /images/20230312/1531f5dfe5b140c59d868e7cae671c1b.png