快速用ELK搭建日志收集平台-蒲公英云

快速用ELK搭建日志收集平台

女爷i 2022-11-20 04:59 294阅读 0赞

elasitc.co

ELK是elastic.co发布的三个产品，分别是elasticsearch, logstash, kibana，分别用来做搜索引擎、日志收集和报表展现。这三个东西经常被用到的业务场景就是日志收集展现。
本文将从实用角度出发，教你如何用ELK快速搭建一个日志收集平台。

elasticsearch

运行elasticsearch
./bin/elasticsearch -d
测试运行状态
```
curl localhost:9200
```

创建索引

elasticsearch里面的表叫做索引（index），可以通过http请求的方式来创建索引，创建的方式是通过put请求，curl脚本如下：

curl -X PUT \
  http://localhost:9200/test1 \
  -H 'cache-control: no-cache' \
  -H 'postman-token: 438a164f-2ded-b73e-b2ab-e53dbd7f800c' \
  -d '{
    "settings" : {
        "index" : {
            "number_of_shards" : 3, 
            "number_of_replicas" : 2 
        }
    }
}'

常见问题

启动失败

ERROR: bootstrap checks failed

  max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

这个问题是操作系统的vm.max_map_count参数设置太小导致的，解决方法：

$ sudo sysctl -w vm.max_map_count=262144
      vm.max_map_count = 262144

logstash

运行logstash
```
./bin/logstash -e 'input { stdin {} } output {stdout{}}'
```
如果运行正常，则输入hello的运行结果如下：
```
hello
2017-06-21T10:12:40.471Z MacBook-Pro.local hello
```
一般我们都是将配置写到配置文件，用-f参数来运行，如：
```
./bin/logstash -f test.config
```
其中test.config里面包含的内容就是之前-e参数所指向的运行参数。

搭建http接口和json格式化

logstash配置文件由三个部分组成，上面已经提到了input和output两个部分，另外还有一个是filter，分别代表输入->过滤->输出，现在我们配置一个http输入、通过json格式化、输出到elasticsearch的logstash配置，配置文件内容如下：

dengzongrongdeMacBook-Pro:logstash-5.4.2 RoyDeng$ cat test.config
input {
          http {
                port => 31311
                type => "http"
                codec => "json"
          }
}
filter {
        json {
                source => "message"
        }
}
output {
          elasticsearch {
              hosts => "localhost"
              index => "test"
          }
}

通过post请求，可以看到elasticsearch里面增加了数据，post请求如下：

curl -X POST \
  http://localhost:31311/ \
  -H 'cache-control: no-cache' \
  -H 'postman-token: 888428ef-ee19-1030-9de4-6c4b333e4bca' \
  -d '{"action":"test"}'

Kibana

配置运行kibana

下载kibana

修改config/kibana.yml配置文件，修改elastic search url，如下：
```
# The URL of the Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://localhost:9200"
```
然后运行./bin/kibana启动kibana
配置报表

kibana_config.png

上面显示的Time-field表示日志的时间，这个参数是必须的，因为kibana展现的一个重要维度就是时间，你上传的数据必须有一个字段代表时间。
当然，如果你是用logstash上传的数据，那么这个字段不需要你配置，logstash会自动帮你加上，但是logstash帮你加的时间是上传的时间。如果你不是希望用上传时间作为时间维度的话，这个字段就需要你上传的时候自己加上了。

然后在首页就能看到刚刚上传上去的数据了