Docker搭建ELK+Kafka+FileBeat统一日志中心

骑猪看日落 2024-04-20 09:43 51阅读 0赞

## `请先确保内存足够，docker需要4g内存，其中es需要分配2g，不然无法启动` ##

### 一、介绍与相关资料 ###

#### 1. 相关地址 ####

[elk镜像文档][elk]

#### 2. 组件分工 ####

> filebeat：负责日志抓取与日志聚合  
> kafka: 削峰填谷  
> logstash：结构化日志信息，并把字段transform成对应的类型  
> elasticsearch：负责存储和查询日志信息  
> kibana：通过ui展示日志信息

### 二、Kafka安装部署 ###

#### 1. 下载镜像 ####

docker pull zookeeper:latest
    docker pull wurstmeister/kafka:latest

#### 2.启动 ####

docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime zookeeper:latest

docker run -d --name kafka --publish 9092:9092 \
    --link zookeeper \
    --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP \
    --env KAFKA_ADVERTISED_PORT=9092 \
    --volume /etc/localtime:/etc/localtime \
    wurstmeister/kafka:latest

#### 3.测试 ####

*  进入容器

docker exec -it kafka /bin/bash
    # 进入bin目录
    cd /opt/kafka_2.12-2.3.0/bin/

*  创建topic

./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic elk_kafka

*  运行生产者并指定topic

./kafka-console-producer.sh --broker-list localhost:9092 --topic elk_kafka

*  新开窗口运行消费者，指定同样的topic， 注意替换kafkaIp

./kafka-console-consumer.sh --bootstrap-server kafkaIp:9092 --topic elk_kafka --from-beginning

`在生产者窗口键入消息，在消费者窗口若能看到，表示kafka搭建成功`

### 三、ELK安装部署 ###

#### 1.修改mmap计数大于等于262144的限制 ####

> \#在/etc/sysctl.conf文件最后添加一行  
> `vm.max_map_count=655360`  
> \#并执行命令  
> `sysctl -p`

#### 2.下载并运行镜像 ####

docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 --name elk -d sebp/elk:651

#### 3.配置文件映射至宿主机 ####

> \#复制elasticsearch的配置出来  
> `mkdir /opt/elk/elasticsearch/conf`  
> `docker cp elk:/etc/elasticsearch/elasticsearch.yml /opt/elk/elasticsearch/conf`  
> \#复制logstash的配置出来  
> `mkdir /opt/elk/logstash/conf `  
> `docker cp elk:/etc/logstash/conf.d/. /opt/elk/logstash/conf/`

#### 4.修改es配置文件elasticsearch.yml ####

> \#修改cluster.name参数 自己定义  
> `cluster.name: my-es`  
> \#在最后新增以下三个参数  
> `thread_pool.bulk.queue_size: 1000`  
> `http.cors.enabled: true`  
> `http.cors.allow-origin: "*"`

#### 5.准备logstash的patterns文件 ####

> `mkdir /opt/elk/logstash/patterns`  
> `touch java.patterns`  
> `vim java.patterns`  
> 内容如下  
> `MYAPPNAME ([0-9a-zA-Z_-]*)`  
> `MYTHREADNAME ([0-9a-zA-Z._-]|$|$|\s)*`

#### 6.修改02-beats-input.conf，kafkaIp与topics自行修改 ####

input {
       kafka {
         bootstrap_servers => ["kafkaIp:9092"]
         auto_offset_reset => "latest"
         consumer_threads => 5
         decorate_events => true
         group_id => "elk"
         topics => ["elk_kafka_test"]
         type => "bhy"
         codec => json {
                 charset => "UTF-8"
         }
       }
    }

#### 7.修改10-syslog.conf中日志结构化配置 ####

*  注意 这里的结构话样例不通用，格式不对自行修改
 *  参考 [匹配规则][Link 1] [教程][Link 2]

filter {
      if [fields][docType] == "sys-log" {
        grok {
          patterns_dir => ["/opt/elk/logstash/patterns"]
          match => { "message" => "\[%{NOTSPACE:appName}:%{NOTSPACE:serverIp}:%{NOTSPACE:serverPort}\] %{TIMESTAMP_ISO8601:logTime} %{LOGLEVEL:logLevel} %{WORD:pid} \[%{MYAPPNAME:traceId}\] \[%{MYTHREADNAME:threadName}\] %{NOTSPACE:classname} %{GREEDYDATA:message}" }
          overwrite => ["message"]
        }
        date {
          match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS Z"]
        }
        date {
          match => ["logTime","yyyy-MM-dd HH:mm:ss.SSS"]
          target => "timestamp"
          locale => "en"
          timezone => "+08:00"
        }
        mutate {  
          remove_field => "logTime"
          remove_field => "@version"
          remove_field => "host"
          remove_field => "offset"
        }
      }
    }

#### 8.修改30-output.conf配置，索引自定义 ####

output {
       stdout {}
       elasticsearch {
         hosts => ["192.168.1.252:9200"]
         index => "test-elk-%{+YYYY.MM.dd}"
       }
    }

#### 9.创建运行脚本 ####

*  vim /opt/elk/start.sh

docker stop elk
    docker rm elk
    
    docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 \
        -e LS_HEAP_SIZE="1g" -e ES_JAVA_OPTS="-Xms2g -Xmx2g" \
        -v $PWD/elasticsearch/data:/var/lib/elasticsearch \
        -v $PWD/elasticsearch/plugins:/opt/elasticsearch/plugins \
        -v $PWD/logstash/conf:/etc/logstash/conf.d \
        -v $PWD/logstash/patterns:/opt/logstash/patterns \
        -v $PWD/elasticsearch/conf/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml \
        -v $PWD/elasticsearch/log:/var/log/elasticsearch \
        -v $PWD/logstash/log:/var/log/logstash \
        --name elk \
        -d sebp/elk:651

#### 10.运行镜像 ####

./start.sh

### 四、Filebeat安装部署 ###

#### 1.官网下载 ####

[下载地址][Link 3]

#### 2.修改配置文件filebeat.yml ####

*  filebeat.inputs改为如下，其中paths为项目日志路径

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /data/log/*.log
      exclude_lines: ['\sDEBUG\s\d']
      exclude_files: ['sc-admin.*.log$']
      fields:
        docType: sys-log
        project: microservices-platform
      multiline:
        pattern: '^\[\S+:\S+:\d{2,}] '
        negate: true
        match: after

*  output.kafka改为如下， kafkaIp与topic自行修改\[`与第二步第6节中一致`\]

output.kafka:
      hosts: ["kafkaIp:9092"]
      topic: "elk_kafka_test"
      ##超时
      ##partition策略必须为random、round_robin或者hash的其中一个
      ##在分区程序选择下一个分区之前，设置要发布到同一分区的事件数。默认值为1，表示每次事件后将选择下一个分区。
      partition.round_robin:
        reachable_only: false
      ##ACK可靠性级别要求，0：无响应，1：等待本地提交，-1：等待所有副本提交，默认值为1
      required_acks: 1
      ## none，snappy，lz4或gzip其中一个
      compression: gzip
      ##超过1000000字节的事件会被丢弃
      max_message_bytes: 100000000

#### 3.启动Filebeat ####

./filebeat -c filebeat.yml -e

### 5.验证 ###

#### 1. 上传日志文件至filebeat.yml中paths路径 ####

#### 2. Kibana的Management页签中创建es索引，名称为30-output.conf中配置的index ####

#### 3. Kibana的Discover页签中查看日志如下图 ####

![日志列表][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MDYzNzg1_size_16_color_FFFFFF_t_70]  
本页面可以条件查询，详情查看，自行探索  
到此ELK+Kafka+FileBeat统一日志中心搭建完毕！！！

[elk]: https://elk-docker.readthedocs.io/#prerequisites
[Link 1]: https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
[Link 2]: https://www.deathearth.com/407.html
[Link 3]: https://www.elastic.co/cn/downloads/beats/filebeat
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MDYzNzg1_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7e57545922654e9cb361ac1474469267.png