docker 搭建 ELK

Bertha 。 2022-08-31 15:22 247阅读 0赞

# 简介 #

ELK开源日志框架同数据 [https://www.elastic.co][https_www.elastic.co]

*  Elasticsearch 是一个基于JSON的分布式搜索和分析引擎
 *  Logstash 是动态数据搜集管道，拥有可扩展的插件生态系统
 *  Kibana 可以让您的数据变得有形有样，是一个可扩展的用户界面  
    ![在这里插入图片描述][3e23d71ae4fb4c248a107127816d412f.png]

# 官网docker指导地址 #

*  Elasticsearch+Kibana [https://www.elastic.co/guide/en/kibana/current/docker.html\#docker][https_www.elastic.co_guide_en_kibana_current_docker.html_docker]
 *  Logstash  
    [https://www.elastic.co/guide/en/logstash/current/docker.html][https_www.elastic.co_guide_en_logstash_current_docker.html]

# ELK搭建 #

## 下载镜像 ##

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.13.4
    docker pull docker.elastic.co/kibana/kibana:7.13.4
    docker pull docker.elastic.co/logstash/logstash:7.13.4

## Elasticsearch + Kibana ##

创建网络 `docker network create elastic`

查看已有网络 `docker network ls`  
若后续要删除网络，使用`docker network rm <网络名>`

新建配置文件 `/root/elk/elasticsearch/elasticsearch.yml`

cluster.name: "docker-cluster"
    network.host: 0.0.0.0
    action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*

启动Elasticsearch `docker run --name es01-test --net elastic -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" -e "discovery.type=single-node" -v /root/elk/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml docker.elastic.co/elasticsearch/elasticsearch:7.13.4`

ES启动成功后，输入`<ip>:9200` 应该要能看到类似下面的输出  
![在这里插入图片描述][c03b2bec820b45bab140b57e24774202.png]

启动Kibana `docker run --name kib01-test --net elastic -p 5601:5601 -e "ELASTICSEARCH_HOSTS=http://es01-test:9200" docker.elastic.co/kibana/kibana:7.13.4`

### 问题1：ES启动失败 ###

ES启动不久后自动退出，无任何报错

容器虚拟内存空间给小了，至少需要262144

vim /etc/sysctl.conf
    //在最后一行上加上
    vm.max_map_count=262144

![在这里插入图片描述][ee10dd1ad2404253b88150b3c57d308c.png]执行 `sysctl -p` 可以查看是否配置成功。如果还是没成功，则检查启动命令是否含有`ES_JAVA_OPTS`参数来设置Xms和Xmx

### 问题2： ###

ES启动成功，但访问Kibana时，报500错误  
![在这里插入图片描述][ae861bae45b74504a96f8a5749aa5607.png]![在这里插入图片描述][ad03af516bc44c28b84e43b5e101ea70.png]  
可以使用`docker exec -it es01-test bash`进入容器中。配置文件路径为 `/usr/share/elasticsearch/config/elasticsearch.yml`  
![在这里插入图片描述][4c2fe007681446a7a7eb4e048775c421.png]  
修改配置文件，在末尾加上 `action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*`

由于容器中一般没装vi编辑器，因此可以使用echo命令进行追加，例如 `echo "action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*" >> config/elasticsearch.yml`

这是为elasticsearch增加自动创建索引功能（这里的索引，就是 Logstash 配置文件 input 里面的 type）  
![在这里插入图片描述][84ce5c53c87f4e22bea327a23e271f52.png]也可以在外部编写配置文件，之后挂载至容器中

修改完后，先重启elasticsearch（`docker restart es01-test`），再重启kibana（`docker restart kib01-test`）

此时启动，docker不会在前台，而会转为在后台运行容器。因此，如果需要查看容器日志，可以使用 `docker logs <容器名>` 或 `docker logs <容器ID>`

## Logstash ##

Logstash主要作用是收集日志，这个组件有很多插件，可以支持大部分日志集成方式，如tcp、udp、jdbc、文件、队列等

启动方式

首先，创建 `/root/logstash/logstash.yml` 文件，输入如下内容

path.config: /usr/share/logstash/conf.d/logstash.conf
    path.logs: /var/log/logstash

然后，创建 `/root/logstash/conf.d/logstash.conf` 文件，输入如下内容

input {
      std {}
      file {
        path => "/tmp/log/syslog"
        type => "log"
        start_position => "beginning"
      }
    }
    output {
      elasticsearch {
        hosts => ["http://es01-test:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
      }
      stdout {codec => rubydebug}
    }

使用 `ls -lt /var/log` 命令，可以将系统日志，按修改时间排序，并列出详细信息。我们先使用系统日志作为输入  
![在这里插入图片描述][0902c4fa0da5473cb6dc3adad0fd5c32.png]使用docker启动logstash镜像

`docker run --name logstash01-test -it --rm -p 5044:5044 --net elastic -v /var/log/secure:/tmp/log/syslog -v /root/elk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml -v /root/elk/logstash/conf.d/:/usr/share/logstash/conf.d/ docker.io/logstash:7.13.4`

使用如下命令进入容器内部，可以查看配置文件的范例

docker exec -it logstash01-test bash
    cat /usr/share/logstash/config/logstash-sample.conf

![在这里插入图片描述][3a94660829dd4248b652a837615cdb5b.png]

# Sample Logstash configuration for creating a simple
    # Beats -> Logstash -> Elasticsearch pipeline.
    
    input {
      beats {
        port => 5044
      }
    }
    
    output {
      elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
        #user => "elastic"
        #password => "changeme"
      }
    }

### 查看Elastic网页 ###

访问地址 `http://<ip>:5601/app/home#/`，5601是创建elasticsearch容器时的端口号  
![在这里插入图片描述][a77f9d762cdc4ba181e20698aff9dabc.png]单击左侧“三杠”，展开左侧面板

*  创建索引 Management —> Stack Management —> Kibana —> Index Patterns
 *  查看日志 Analytics —> Discover

![在这里插入图片描述][66286fca560042a89e2908159bdf5110.png]![在这里插入图片描述][4c7c2800e0864246b0ab76e83a7d5e75.png]  
![在这里插入图片描述][07e6d2cc8ab7401ebe28811a98f82dda.png]  
![在这里插入图片描述][a00ae0b4573f4d1ca040ea77067ace4a.png]![在这里插入图片描述][1b6381007a4f4bc6a078465b691541c2.png]

## 使用Log4j将日志送到ELK ##

import org.apache.log4j.Logger;
    public class ElkLog4jDemo {
      private static final Logger logger = Logger.getLogger(ElkLog4jDemo.class);
      public static void main(String[] args) throws Exception {
        logger.debug("使用Log4j发送日志给ELK")
      }
    }

[https_www.elastic.co]: https://www.elastic.co
[3e23d71ae4fb4c248a107127816d412f.png]: /images/20220829/729cefdda4c54c32bac8c871e51c72ca.png
[https_www.elastic.co_guide_en_kibana_current_docker.html_docker]: https://www.elastic.co/guide/en/kibana/current/docker.html#docker
[https_www.elastic.co_guide_en_logstash_current_docker.html]: https://www.elastic.co/guide/en/logstash/current/docker.html
[c03b2bec820b45bab140b57e24774202.png]: /images/20220829/36520305f6de4fe9bb58ff1c5f6152b2.png
[ee10dd1ad2404253b88150b3c57d308c.png]: /images/20220829/c59f558ec01f413cb22c7921bb89b3c8.png
[ae861bae45b74504a96f8a5749aa5607.png]: https://img-blog.csdnimg.cn/ae861bae45b74504a96f8a5749aa5607.png
[ad03af516bc44c28b84e43b5e101ea70.png]: /images/20220829/8cb9958340704724b4a9a070f6ca16c1.png
[4c2fe007681446a7a7eb4e048775c421.png]: /images/20220829/17de1e8c33db49e3a0d9b9404272d19c.png
[84ce5c53c87f4e22bea327a23e271f52.png]: /images/20220829/60d13cb106544b4cb3afc2174b1136f7.png
[0902c4fa0da5473cb6dc3adad0fd5c32.png]: /images/20220829/e95144d6d412455db5882e39ee5454b5.png
[3a94660829dd4248b652a837615cdb5b.png]: /images/20220829/644d5a1669824ddf9fd86e840993a557.png
[a77f9d762cdc4ba181e20698aff9dabc.png]: /images/20220829/2b69e0d23da4482491c0f6d55689cf71.png
[66286fca560042a89e2908159bdf5110.png]: https://img-blog.csdnimg.cn/66286fca560042a89e2908159bdf5110.png
[4c7c2800e0864246b0ab76e83a7d5e75.png]: /images/20220829/d9ee052fe183471b8c1f8fd756d3e9cc.png
[07e6d2cc8ab7401ebe28811a98f82dda.png]: /images/20220829/7ea28c729f1f4ef287845b1611104de1.png
[a00ae0b4573f4d1ca040ea77067ace4a.png]: https://img-blog.csdnimg.cn/a00ae0b4573f4d1ca040ea77067ace4a.png
[1b6381007a4f4bc6a078465b691541c2.png]: /images/20220829/dd601736ec0042f1bc21c7af67fbbec3.png