重学ElasticSearch (ES) ：ELK搭建SpringBoot日志实时分析系统

墨蓝 2024-03-30 15:52 35阅读 0赞

## 一、概述 ##

> 在一个大型的分布式架构的项目里，不同的服务模块部署在不同的服务器上，如果想要定位问题，可能需要去不同的服务器上查看不同服务的日志。
> 
> 那么，ELK可以很方便的把日志集成到一起，无须再去各个服务器上的日志中定位问题。

### 1.1、什么是ELK ###

ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logstash的数据收集功能，比较轻量级)。市面上也被称为 Elastic Stack。

#### 1.1.1、Elasticsearch ####

> 是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。

#### 1.1.2、Logstash ####

> Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash能够动态地采集、转换和传输数据，不受格式或复杂度的影响。

*  **Logstash架构**
    
    > Logstash由Input、Filter、Output三部分组成
    > 
    > Input: 数据采集，可以是kafka、http、文件等
    > 
    > Filter: 对数据进行过滤、处理
    > 
    > Output:数据存储，可以是ElasticSearch、MongoDB等
    > 
    > ![0260e996dd01fd904f28f18173e3d875.png][]

*  **logstash.conf pipeline文件**
    
    > 跟其架构一致，分为Input、Filter、Output三个部分，用于处理数据
    
        input {
        
        }
        filter {
        
        }
        output {
        
        }

#### 1.1.3、Kibana ####

> Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。

[0260e996dd01fd904f28f18173e3d875.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/44fd9bf93540471995502ec11a8983d4.png