ELK 日志收集系统

r囧r小猫 2023-07-08 10:27 16阅读 0赞

### ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。 ###

*  Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。
 *  Logstash是ELK的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地（文件/MQ/redis/elasticsearch/kafka等）。
 *  Kibana可以将elasticsearch的数据通过友好的页面展示出来，提供实时分析的功能。

Logstash替换为Filebeat

Logstash缺点

*  基于ruby配置 学习需要时间
 *  依赖jdk
 *  较大资源消耗大

Filebeat 优点

*  基于yaml配置
 *  二进制文件
 *  资源占用少
 *  Filebeat 是Logstash 的下一代

对应三个的下载链接

[https://www.elastic.co/cn/downloads/beats/filebeat][https_www.elastic.co_cn_downloads_beats_filebeat]

[https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]

[https://www.elastic.co/cn/downloads/kibana][https_www.elastic.co_cn_downloads_kibana]

wget [https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.0-linux-x86\_64.tar.gz][https_artifacts.elastic.co_downloads_beats_filebeat_filebeat-7.6.0-linux-x86_64.tar.gz]

wget [https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-linux-x86\_64.tar.gz][https_artifacts.elastic.co_downloads_elasticsearch_elasticsearch-7.6.0-linux-x86_64.tar.gz]

wget [https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-linux-x86\_64.tar.gz][https_artifacts.elastic.co_downloads_kibana_kibana-7.6.0-linux-x86_64.tar.gz]

tar -zxvf 解压 (下载很慢，自己网盘有)

**启动[elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]**

# 访问localhost:9200
    ./bin/elasticsearch

**启动[kibana][https_www.elastic.co_cn_downloads_kibana]**

# 访问localhost:5601
    ./bin/kibana

**修改[filebeat][https_www.elastic.co_cn_downloads_beats_filebeat] 配置**

进入[filebeat][https_www.elastic.co_cn_downloads_beats_filebeat] 修改配置文件filebrat.yml  (那个服务器需要上传日志，就开启一个[filebeat][https_www.elastic.co_cn_downloads_beats_filebeat])

vim filebeat.yml

# true 代表启用当前配置
        enable: true

# 监听多个日志文件目录，目录新加日志会自动上传，可这样加多个目录
        paths:
            - /data/logserver/logs/*.log
            - /data/ad-log-test/logs/*.log

这里配置需要和logback.xml里格式一致

<encoder>
                <pattern>[%d{yyyy-MM-dd HH:mm:ss:SSS}] %thread %level %logger{36} %L - %msg%n</pattern>
            </encoder>

# 这里的意思是 以[ 开头的为一条数据，，，如果下面不是这个开头的。会合并成一条数据发送 
        multiline.pattern: ^\[
        # 匹配开启
        multiline.negate: true
        multiline.match: after

# 从文件末尾读取日志
        tail_files: true

# ES模板名称
    setup.template.name: imooc-ad-sponsor
    # 模板模式
    setup.template.pattern: imooc-ad-sponsor-*
    # Kibana 索引的位置
    setup.template.index: imooc-ad-sponsor-*
    # 描述字段 YMAL 文件路径（发送到ES的字段定义）
    setup.template.fields: fields.yml
    
    
    setup.template.settings:
        # 索引分区个数定义，与ES优化相关
        index.number_of_shards:3

# ES主机地址
    hosts: ["localhost:9200"]
    # ES 数据索引定义，数据发送到那个索引中去
    index: "imooc-ad-sponsor-%{+yyyy.MM.dd}"

启动**[filebeat][https_www.elastic.co_cn_downloads_beats_filebeat]**

./filebeat -e -c filebeat.yml

# #

## ES 对日志 预处理 （添加标签） ##

1、定义processor标签

设置日期格式，报错名为timestamp

{
        "description" : "imooc-ad-log",
        "processors":[
         {
            "grok": {
                "field": "message",
                "patterns": ["\\[%{TIMESTAMP_ISO8601:log_time}\\] %{NOTSPACE:thread}
                    %{NOTSPACE:log_level} %{NOTSPACE:java_class} %{NOTSPACE:code_line} -
                    %{GREEDYDATA:content}"]
           }        
    
         },
         {
            "date": {
                "field": "log_time",
                "formats": ["yyyy-MM-dd HH:mm:ss:SSS"],
                "timezone": "Asia/Shanghai",
                "target_field": "@timestamp"
                }
    
            }
        ]
    }

2、把processor标签 发送给ES  (localhost:9200/\_ingest/pipeline/imooc-ad-log)  imooc-ad-log这个是名称

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4_size_16_color_FFFFFF_t_70][]

3、修改Filebeat配置 重启Filebeat

vim filebrat.yml

# ES主机地址
    hosts: ["localhost:9200"]
    # ES 数据索引定义，数据发送到那个索引中去
    index: "imooc-ad-sponsor-%{+yyyy.MM.dd}"
    
    pipeline: "imooc-ad-log"

重启

./filebeat -e -c filebeat.yml

[https_www.elastic.co_cn_downloads_beats_filebeat]: https://www.elastic.co/cn/downloads/beats/filebeat
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[https_artifacts.elastic.co_downloads_beats_filebeat_filebeat-7.6.0-linux-x86_64.tar.gz]: https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.0-linux-x86_64.tar.gz
[https_artifacts.elastic.co_downloads_elasticsearch_elasticsearch-7.6.0-linux-x86_64.tar.gz]: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-linux-x86_64.tar.gz
[https_artifacts.elastic.co_downloads_kibana_kibana-7.6.0-linux-x86_64.tar.gz]: https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-linux-x86_64.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200227211831491.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4,size_16,color_FFFFFF,t_70