Logstash、Filebeat安装与数据同步(+ES安装讲解)

小灰灰 2023-09-28 18:41 104阅读 0赞

### 文章目录 ###

*   *  一、安装Java
     *  二、安装 Logstash
     *   *  1、下载Logstash
         *  2、安装Logstash
     *  二、使用Logstash
     *   *  1、安装结果测试
         *  2、测试文件启动
         *  3、监控指定端口输入
         *  4、从文件中推送到\`Logstash\`
         *  5、设置输出到ES中
     *  五、使用File Beat导入数据
     *   *  1、下载安装Filebeat
         *  2、核心点
     *  六、安装问题
     *   *  1、 GeoIP Filter in ECS-Compatiblity mode
         *  2、配置到ES中未连接报错
         *  3、权限问题\`error loading config file\`
     *  七、参考文档

--------------------

## 一、安装Java ##

之前写的安装JDK的

[Linux（centos 7.5）服务器安装JDK（1.8）][Linux_centos 7.5_JDK_1.8]

yum安装JDK

#	查看可安装java版本
    yum list java*
    #	安装JDK11
    yum install java-11-openjdk-demo.x86_64

## 二、安装 Logstash ##

### 1、下载Logstash ###

[官网地址：][Link 1]

https://www.elastic.co/cn/downloads/logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.3.3-linux-x86_64.tar.gz

### 2、安装Logstash ###

创建安装目录

mkdir /usr/local/logstash

解压缩安装文件

tar -zxvf logstash-8.3.3-linux-x86_64.tar.gz -C /usr/local/logstash

## 二、使用Logstash ##

### 1、安装结果测试 ###

执行以下命令

cd logstash-8.3.3
    bin/logstash -e 'input { stdin { } } output { stdout {} }'

![请添加图片描述][2a66ecf46757460fa4447c7b1d40fbf6.png]

如果你在你的 Terminal 中看到和我一样的输出，说明你的 Logstash 安装时成功的。

### 2、测试文件启动 ###

我们也可以创建一个自己的 logstash.conf 文件，并存于你的文件系统的一个目录下。这个 logstash.conf 的文件内容如下：

input {
        
      heartbeat {
        
        interval => 10
        type => "heartbeat"
      }
    }
     
    output {
        
      stdout {
        
        codec => rubydebug
      }
    }

启动

bin/logstash -f heartbeat.conf

通过这样的 **-f** 选项，我们可以启动任何一个我们喜欢路径的 longstash 配置文件。

![请添加图片描述][193951c3c33245418fa4c25e1bc773f8.png]

### 3、监控指定端口输入 ###

创建一个自己的`logstash.conf`文件

input {
        
      tcp {
        
        port => 9900
      }
    }
     
    output {
        
      stdout {
         }
    }

运行`Logstash`

bin/logstash -f weblog.conf

接下来，我们使用 [nc][] 应用把数据发送到 TCP 端口号 9900，并查看 console 的输出。我们在另外一个 console 中打入如下的命令

echo 'hello logstash' | nc localhost 9900

![请添加图片描述][db6b983c3cd94adca041132cdf5802d9.png]

### 4、从文件中推送到`Logstash` ###

新建一个含有日志文件：

> 14.49.42.25 - - \[12/May/2019:01:24:44 +0000\] “GET /articles/ppp-over-ssh/ HTTP/1.1” 200 18586 “-” “Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5”

执行以下命令推送大`Logstash`

head -n 1 weblog-sample.log | nc localhost 9900

![请添加图片描述][f0b3c40177534e1b822c33f51c3baaf0.png]

### 5、设置输出到ES中 ###

核心配置:

elasticsearch {
        
      hosts => ["http://172.28.70.231:9200"]
      index => "logstash"
      user => "elastic"
      password => "23hUMjScdjOkbKiqCYj9"
    }

完整配置：

input {
        
      tcp {
        
        port => 9900
      }
    }
     
    filter {
        
      grok {
        
        match => {
         "message" => "%{COMBINEDAPACHELOG}" }
      }
     
      mutate {
        
        convert => {
        
          "bytes" => "integer"
        }
      }
     
      geoip {
        
        source => "clientip"
        target => "clientgeo"
      }
     
      useragent {
        
        source => "agent"
        target => "useragent"
      }
    
    }
     
    output {
        
      stdout {
         }
     
      elasticsearch {
        
        hosts => ["http://172.28.70.231:9200"]
        index => "logstash"
        user => "elastic"
        password => "23hUMjScdjOkbKiqCYj9"
      }
    }

从日志文件`weblog-sample.log`中导入数据

head -n 1 weblog-sample.log | nc localhost 9900

## 五、使用File Beat导入数据 ##

![请添加图片描述][e29c77e9bfcf4815b0b8224e144e8139.png]

![请添加图片描述][00eff60b66674315a27d4d60434b41e2.png]

[官网地址][Link 2]

https://www.elastic.co/cn/downloads/beats/

### 1、下载安装Filebeat ###

[下载地址][Link 3]

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.3.3-linux-x86_64.tar.gz

解压缩安装包

tar -zxvf filebeat-8.3.3-linux-x86_64.tar.gz

新建配置文件`filebeat_apache.yml`

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /Users/liuxg/data/apache_logs/*
     
    output.logstash:
      hosts: ["localhost:5044"]

运行`Filebeat`

$ ./filebeat -c filebeat_apache.yml

就会将日志同步到`Logstash`。

![在这里插入图片描述][d59c31f904864ad1bc39a0c01445e97b.png]

![在这里插入图片描述][80a6a255792145b48a4b1b2a6fbfdbcd.png]

![在这里插入图片描述][47025007b30b40b7bd991eebfaccaba9.png]

### 2、核心点 ###

日志所在的目录(正则表达式)，可匹配目录以及文件。

/Users/liuxg/data/apache_logs/*

## 六、安装问题 ##

### 1、 GeoIP Filter in ECS-Compatiblity mode ###

[2022-08-04T11:05:00,966][ERROR][logstash.javapipeline    ][main] Pipeline error {:pipeline_id=>"main", :exception=>#<LogStash::ConfigurationError: GeoIP Filter in ECS-Compatiblity mode requires a `target` when `source` is not an `ip` sub-field,。

修复内容

改为`target`去展示

![在这里插入图片描述][421a91b412df419c8049a9e32e148e55.png]

### 2、配置到ES中未连接报错 ###

需要配置上到达`ES`的`index`。

elasticsearch {
      hosts => ["http://172.28.70.231:9200"]
      index => "logstash"
      user => "elastic"
      password => "23hUMjScdjOkbKiqCYj9"
    }

### 3、权限问题`error loading config file` ###

权限问题：

如果没有赋予权限，下面启动会报错：

Exiting: error loading config file: open filebeat.yml: permission denied

如果赋予777权限，也会报错：

Exiting: error loading config file: config file (“filebeat.yml”) can only be writable by the owner but the permissions are “-rwxrwxrwx” (to fix the permissions use: ‘chmod go-w /usr/share/filebeat/filebeat.yml’)

解决：

chmod 755 /home/filebeat/filebeat.yml

## 七、参考文档 ##

[Logstash：把 Apache 日志导入到 Elasticsearch][Logstash_ Apache _ Elasticsearch]  
[Logstash：Logstash 入门教程 （二）][Logstash_Logstash _]

[Linux_centos 7.5_JDK_1.8]: https://blog.csdn.net/lydms/article/details/95232577?
[Link 1]: https://www.elastic.co/cn/downloads/logstash
[2a66ecf46757460fa4447c7b1d40fbf6.png]: https://img-blog.csdnimg.cn/2a66ecf46757460fa4447c7b1d40fbf6.png
[193951c3c33245418fa4c25e1bc773f8.png]: https://img-blog.csdnimg.cn/193951c3c33245418fa4c25e1bc773f8.png
[nc]: https://www.tutorialspoint.com/unix_commands/nc.htm
[db6b983c3cd94adca041132cdf5802d9.png]: https://img-blog.csdnimg.cn/db6b983c3cd94adca041132cdf5802d9.png
[f0b3c40177534e1b822c33f51c3baaf0.png]: https://img-blog.csdnimg.cn/f0b3c40177534e1b822c33f51c3baaf0.png
[e29c77e9bfcf4815b0b8224e144e8139.png]: https://img-blog.csdnimg.cn/e29c77e9bfcf4815b0b8224e144e8139.png
[00eff60b66674315a27d4d60434b41e2.png]: https://img-blog.csdnimg.cn/00eff60b66674315a27d4d60434b41e2.png
[Link 2]: https://www.elastic.co/cn/downloads/beats/
[Link 3]: https://www.elastic.co/cn/downloads/beats/filebeat
[d59c31f904864ad1bc39a0c01445e97b.png]: https://img-blog.csdnimg.cn/d59c31f904864ad1bc39a0c01445e97b.png
[80a6a255792145b48a4b1b2a6fbfdbcd.png]: https://img-blog.csdnimg.cn/80a6a255792145b48a4b1b2a6fbfdbcd.png
[47025007b30b40b7bd991eebfaccaba9.png]: https://img-blog.csdnimg.cn/47025007b30b40b7bd991eebfaccaba9.png
[421a91b412df419c8049a9e32e148e55.png]: https://img-blog.csdnimg.cn/421a91b412df419c8049a9e32e148e55.png
[Logstash_ Apache _ Elasticsearch]: https://blog.csdn.net/UbuntuTouch/article/details/100727051
[Logstash_Logstash _]: https://elasticstack.blog.csdn.net/article/details/105979677