TraceId 搭配 ELK ，碉堡了！

以你之姓@ 2024-04-06 09:57 24阅读 0赞

![format_png][]

--------------------

今天就接着 TraceId 做一些优化，如果想快速的定位到问题，就要实现对日志的快速搜索，所以本文就引入 ELK 技术栈。

ELK 是 ES、Logstash、Kibana 的总称，其核心功能就是实现数据的收集、搜索、可视化。具体功能和使用在本文都会提到。

### 需求分析 ###

先分析一下，我们想实现的核心功能是搜索，必然是用 ES 实现，那问题就转换成**如何将日志收集并存储到 ES**。

日志大家都不陌生了，可以在控制台打印，也可以存入文件，那能不能直接输入 ES 呢，好像没听说过。

这里就要用到 Logstash 来收集日志，Spring 默认的日志框架 Logback 已经对其提供了支持，我们要做的只是编写配置文件。

Logstash 有个问题就是非常占用内存，所以本文后面会介绍另一个比较轻量级的日志收集工具 FileBeat ，由 Go 语言编写。

同时对于真实的线上环境为了保证吞吐量和可靠性，都会引入 Kafka 进行解耦，本文不做演示。

下面就进入实战部分，搭建一套日志收集与搜索系统。

### ES ###

推荐大家去 elastic 的[中文社区][Link 1]下载 ELK ，速度会比较快，官网当然也是可以的。目前最新版本是8.+，推荐还是下 7.+ 比较稳妥，具体版本随意，但 ELK 的版本要一致。

本文使用 7.14.2 版本。下载下来解压就行，不废话。

![69fc6af10c7b4bccb87387adddd5cd5a.png][]

**修改配置文件**

进入 config 目录：

# elasticsearch.yml
    
    path.data: /Users/li/programs/elasticsearch-7.14.2/data
    path.logs: /Users/li/programs/elasticsearch-7.14.2/logs
    ingest.geoip.downloader.enabled: false
    复制代码

# jvm.options
    # 如果内存够用也可以不修改
    -Xms1g
    -Xmx1g
    复制代码

**启动**

./bin/elasticsearch
    复制代码

[2022-09-13T10:54:10,015][INFO ][o.e.n.Node               ] [LdeMacBook-Pro.mshome.net] started
    [2022-09-13T10:54:10,730][INFO ][o.e.l.LicenseService     ] [LdeMacBook-Pro.mshome.net] license [b7a596e6-1b61-4e6d-af2f-7eab70fe693b] mode [basic] - valid
    复制代码

**测试**

浏览器访问：`http://localhost:9200/`

![a5a82bb7365746c7873a2411f10af2b1.png][]

### kibana ###

下面再安装 ES 的可视化工具，下载地址同上，版本号同上。

![6f0adcfdedd247d1907dbab1f20acb38.png][]

**修改配置文件**

# kibana.yml
    server.port: 5601
    server.host: "localhost"
    elasticsearch.hosts: ["http://localhost:9200"]
    kibana.index: ".kibana"
    i18n.locale: "zh-CN" # 中文
    复制代码

**启动**

./bin/kibana
    复制代码

[10:56:42.001] [info][status] Kibana is now degraded
    [10:56:44.784] [info][status] Kibana is now available (was degraded)
    复制代码

**测试**

浏览器访问：`http://localhost:5601/`

![4b7c2195a73f4ca7b50af6893c3309a4.png][]

新增数据并查询

PUT /ecommerce/product/1
     {
         "name" : "gaolujie yagao",
         "desc" :  "gaoxiao meibai",
         "price" :  30,
         "producer" :  "gaolujie producer",
         "tags": [ "meibai", "fangzhu" ]
     }
     
    GET /ecommerce/product/1
    复制代码

### Logstash ###

下载地址同上，版本号同上。

![73ae8f13af244a45b4189a2cd66c423f.png][]

**拷贝配置文件 logstash-sample.conf**

# logstash-log-boot.conf
    
    input {
      tcp {
        mode => "server"
        host => "127.0.0.1"
        # 通过监听9001端口进行采集日志
        port => 9001
        codec => json_lines
      }
    }
    
    output {
      elasticsearch {
        # ES的地址
        hosts => ["http://127.0.0.1:9200"]
        # 索引的名称
        index => "boot-log-collection-%{+YYYY.MM.dd}"
      }
      stdout {
        codec => rubydebug
      }
    }
    复制代码

**启动**

./bin/logstash -f ./config/logstash-log-boot.conf
    复制代码

### Logback ###

OK，到此 ELK 就搭建完了，接下来就是配置 boot 应用的日志输出。`logback.xml`

<?xml version="1.0" encoding="UTF-8"?>
    <configuration>
        <property name="LOG_PATTERN"
                  value="%d{yyyy-MM-dd} %d{HH:mm:ss.SSS} [%highlight(%-5level)] [%boldYellow(%X{traceId})] [%boldYellow(%thread)] %boldGreen(%logger{36} %F.%L) %msg%n">
        </property>
    
        <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
            <encoder>
                <pattern>${LOG_PATTERN}</pattern>
            </encoder>
            
            <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
                <level>INFO</level>
            </filter>
        </appender>
    
        
        <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
            
            <destination>127.0.0.1:9001</destination>
            <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
            <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
                <level>INFO</level>
            </filter>
        </appender>
    
        <root>
            <appender-ref ref="STDOUT"/>
            
            <appender-ref ref="LOGSTASH" />
        </root>
    </configuration>
    
    
    复制代码

如果报`LogstashTcpSocketAppender`这个类找不到，需要添加一个依赖：

<dependency>
                <groupId>net.logstash.logback</groupId>
                <artifactId>logstash-logback-encoder</artifactId>
                <version>6.6</version>
            </dependency>
    复制代码

其实这个依赖就是用来网络通信的，来传输日志。

**测试**

这时启动应用，观看 Logstash 的控制台，会跟着打印日志，再打开 ES ，创建我们配置好的查询索引，神奇的事情发生了，日志一条一条的展示出来。

![620705b7c8c64029937de960e3c21448.png][]

再结合 TraceId 进行搜索，简直逆天！

![f0fdbba71c274dca8b063efe1d773410.png][]

### Filebeat ###

同样是下载 FileBeat 。

![750549a0183e41478bec05fe869c9890.png][]

**修改配置文件**

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/*.log
    filebeat.config.modules:
      path: ${path.config}/modules.d/*.yml
      reload.enabled: false
    setup.template.settings:
      index.number_of_shards: 2
    setup.kibana:
      host: "localhost:5601"
    output.elasticsearch:
      hosts: ["localhost:9200"]
    processors:
      - add_host_metadata: ~
      - add_cloud_metadata: ~
    复制代码

因为 Filebeat 是基于监控日志文件有没有新增来同步数据的，所以需要配置日志文件的目录。

可以直接输出到 ES ，也可以输出到 Logstash 。二选一！

**再配置 logback.xml**

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
            
            <File>/Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user.log</File>
            <encoder>
                
                <pattern>%date %level [%thread] [%X{requestId}] [%logger{36}.%method:%line] %msg%n</pattern>
            </encoder>
            <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
                <level>INFO</level>
            </filter>
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                
                
                <fileNamePattern>
                    /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user-%d{yyyy-MM-dd}.log
                </fileNamePattern>
                <maxHistory>3</maxHistory>
            </rollingPolicy>
        </appender>
    
    
    		<root>
            <appender-ref ref="FILE"/>
        </root>
    复制代码

再次启动项目，发现日志已写入文件

![ab4bdca31be7464c91857f4ca21d0173.png][]

进入 ES 查询，同样查询到日志。

> 经过测试，FileBeat 的日志收集延迟时间要比 Logstash 长，毕竟基于文件进行同步，可以理解，而且本身业务实时性要求不高。

![dceb0611932747149c0eb6fba9b15350.png][]

### 最后 ###

内容看着比较多，实际很容易实现，但真正生产环境要复杂的多，还需不断思考。

点个赞吧！

[format_png]: https://img-blog.csdnimg.cn/img_convert/474038c535bec248691d45624fffe2f2.webp?x-oss-process=image/format,png
[Link 1]: https://link.juejin.cn/?target=https%3A%2F%2Felasticsearch.cn%2Fdownload%2F
[69fc6af10c7b4bccb87387adddd5cd5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/08bded78e9db48c3abe2066ec0dd07e9.png
[a5a82bb7365746c7873a2411f10af2b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9748d93b4e7d431f8f5d6ca1ffc12f91.png
[6f0adcfdedd247d1907dbab1f20acb38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b2a4881aa26f448abca41c7b83df98af.png
[4b7c2195a73f4ca7b50af6893c3309a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ce6ec3f296944f419736f5436287fd9b.png
[73ae8f13af244a45b4189a2cd66c423f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2a0fa95234354330a8b5d856d7e1d4b7.png
[620705b7c8c64029937de960e3c21448.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9d0f4179bba24d14a25c8c8332a1e0c0.png
[f0fdbba71c274dca8b063efe1d773410.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/644d0ae497094c6aa7a87632c2bd6e50.png
[750549a0183e41478bec05fe869c9890.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/c0e34e92a7a741ed9eda20a508b03cff.png
[ab4bdca31be7464c91857f4ca21d0173.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ce5e215bb76046c5b02e8ca31392f950.png
[dceb0611932747149c0eb6fba9b15350.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b1c9db4bc7f448a3b1b6997afdff372f.png