SpringBoot整合ELK教程

ゞ浴缸里的玫瑰 2024-03-30 17:27 75阅读 0赞

## SpringBoot整合ELK教程 ##

### 1 基础概念 ###

> ELK 即 Elasticsearch、Logstash、Kibana，组合起来可以搭建线上日志系统，本文主要讲解使用 ELK 来收集测试框架产生的日志。

![在这里插入图片描述][28993806ff3e40ada7d91a86a2b1c8f8.png]

*  Elasticsearch：用于存储收集到的日志信息；
 *  Logstash：用于收集日志，测试框架应用整合了 Logstash 以后会把日志发送给 Logstash,Logstash再把日志转发给Elasticsearch；
 *  Kibana：通过Web端的可视化界面来查看日志。

### 2 通过docker compose搭建ELK环境 ###

> 需要有docker环境:  
> [docker安装教程][docker]

#### 2.1 前置环境 ####

1.  下载docker compose

> Docker Compose是一个用于定义和运行多个docker容器应用的工具。使用Compose你可以用YAML文件来配置你的应用服务，然后使用一个命令，你就可以部署你配置的所有服务了。`管理docker的工具`

curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

1.  修改文件为可执行

chmod +x /usr/local/bin/docker-compose

1.  查看是否安装成功

docker-compose --version

![在这里插入图片描述][6a1c797bdb264188aa62c554e4159baa.png]  
4. 下载docker有关镜像

docker pull elasticsearch:7.6.2
    docker pull logstash:7.6.2
    docker pull kibana:7.6.2

#### 2.2 正式搭建（docker） ####

①创建配置文件

*  创建文件夹

mkdir -p /mydata/logstash
    cd /mydata/logstash

*  编写配置文件`logstash-springboot.conf`

vim logstash-springboot.conf

配置文件内容:

input {
        
      tcp {
        
        mode => "server"
        host => "0.0.0.0"
        port => 4560
        codec => json_lines
      }
    }
    output {
        
      elasticsearch {
        
        hosts => "es:9200"
        index => "springboot-logstash-%{+YYYY.MM.dd}"
      }
    }

②创建脚本启动ELK

vim docker-compose.yml

version: '3'
    services:
      elasticsearch:
        image: elasticsearch:7.6.2
        container_name: elasticsearch
        user: root
        environment:
          - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
          - "discovery.type=single-node" #以单一节点模式启动
          - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
        volumes:
          - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
          - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
        ports:
          - 9200:9200
          - 9300:9300
      logstash:
        image: logstash:7.6.2
        container_name: logstash
        environment:
          - TZ=Asia/Shanghai
        volumes:
          - /mydata/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
        depends_on:
          - elasticsearch #kibana在elasticsearch启动之后再启动
        links:
          - elasticsearch:es #可以用es这个域名访问elasticsearch服务
        ports:
          - 4560:4560
      kibana:
        image: kibana:7.6.2
        container_name: kibana
        links:
          - elasticsearch:es #可以用es这个域名访问elasticsearch服务
        depends_on:
          - elasticsearch #kibana在elasticsearch启动之后再启动
        environment:
          - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
        ports:
          - 5601:5601

③启动脚本

docker-compose up -d

如果启动时出错，没有权限，添加权限执行权限即可

chmod 777 /mydata/elasticsearch/data/

![在这里插入图片描述][97192f7971784f4e9127ac40bf76e8ed.png]  
如果elasticsearch如上图一样没有启动起来，重启即可，因为启动时间需要比较久

docker restart elasticsearch

![在这里插入图片描述][fee1468b221841bb805a2c3b2387df97.png]

④在 logstash 中安装 json\_lines 插件

# 进入logstash容器
    docker exec -it logstash /bin/bash
    # 进入bin目录
    cd /bin/
    # 安装插件
    logstash-plugin install logstash-codec-json_lines
    # 退出容器
    exit
    # 重启logstash服务
    docker restart logstash

安装时间可能比较久，需要耐心等待  
![在这里插入图片描述][9d9908f1195f4ca1bd4fab236c79b0e3.png]  
⑤关闭防火墙，查看kibana结果

systemctl stop firewalld

访问地址：

# ip改成自己的即可
    http://192.168.145.13:5601/

`bug：`

*  如果访问kibana地址出现如下错误：

> Kibana server is not ready yet

解决方法：

方法一：

> 将配置文件kibana.yml中的elasticsearch.url改为正确的链接，默认为: http://elasticsearch:9200，改为http://自己的IP地址:9200【改成自己的ip】

# 查看本机ip
    ip address

![在这里插入图片描述][fbc9791be0bd4470a748f61d23fc686b.png]  
①查看es内部容器ip

# 查看elasticsearch内部容器ip
    docker inspect -f '{
        {range .NetworkSettings.Networks}}{
        {.IPAddress}}{
        {end}}' elasticsearch
    # 172.18.0.4

![在这里插入图片描述][a5301138c1934bd59dd81ebe09a9401a.png]  
②进入kibana容器，修改配置文件

# 进入 Kibana 容器内部，修改 kibana.yml 中的ip
    # docker ps 查看kibana容器名
    docker exec -it kibana容器id /bin/bash
    # docker exec -it 8db0dd14cd59_kibana /bin/bash

![在这里插入图片描述][2e4ee6ba65aa494a97d8a5a5936dc56c.png]

# 修改配置文件
    cd config
    vi kibana.yml
    # 只需要将上面的 "http://elasticsearch:9200"中的 
    #elasticsearch 替换成上一步的es容器内部ip就可以了。

![在这里插入图片描述][ab908125505443e0ba4d65f638d85c6d.png]  
③退出kibana容器，并重启kibana

exit
    docker restart kibana容器名
    # docker restart 8db0dd14cd59_kibana

方法二：

> 关闭防火墙

systemctl stop firewalld
    # 查看防火墙状态：是否关闭成功
    systemctl status firewalld
    
    #永久关闭防火墙
    # systemctl disable firewalld.service
    
    # 重启docker
    systemctl restart docker
    #重启docker服务
    docker-compose up -d

方法三：

> 服务器内存不够

# 查看内存使用情况
    free -h

![在这里插入图片描述][61ed92dff80b4ebb8c3af34f7e18b15f.png]  
设置swap

> 1.  创建swapfile：\# dd if=/dev/zero of=swapfile bs=1024 count=500000 （of是空间名称，count是空间大小,bs是单位，这里是kb,你可以将bs=1024改为bs=1G，后面的count就可以改为count=2,就是创建2G大小的swap文件）
> 2.  将swapfile设置为swap空间：\# mkswap swapfile
> 3.  启用交换空间: \# swapon swapfile （删除交换空间命令 swapoff swapfile）
> 
> > 如果提示不安全，则使用`sudo chmod 600 swapfile`
> 
> 1.  再用free -h命令查看内存情况，就会发现Swap中的内存增加了，

![在这里插入图片描述][6af6c51da1ef46cfbe5fe4758b8f9647.png]  
方法四：

> 看自己是否开启了VPN或者代理，关闭之后，重新打开浏览器访问即可

最后，测试：

# 输入自己服务器的ip(我的是192.168.145.13:5601)
    http://192.168.145.13:5601/

成功访问：  
![在这里插入图片描述][20f97e8ed9784ed194cf9f73dac57fe9.png]

#### 2.3 SpringBoot框架集成logstash ####

项目结构：  
![在这里插入图片描述][cff2374c257b4c568dca6ab4e6bc89e0.png]

##### ①pom.xml添加依赖 #####

<dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>5.3</version>
    </dependency>

完整pom文件：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>2.6.11</version>
            <relativePath/> 
        </parent>
        <groupId>com.zi</groupId>
        <artifactId>elk-demo</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>elk-demo</name>
        <description>elk-demo</description>
    
        <properties>
            <java.version>1.8</java.version>
        </properties>
    
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
    
            
            <dependency>
                <groupId>net.logstash.logback</groupId>
                <artifactId>logstash-logback-encoder</artifactId>
                <version>5.3</version>
            </dependency>
    
            <dependency>
                
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <version>1.18.12</version>
            </dependency>
    
            <dependency>
                
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.13</version>
                <scope>test</scope>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.8.1</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                        <encoding>UTF-8</encoding>
                    </configuration>
                </plugin>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                </plugin>
            </plugins>
        </build>
    
    </project>

##### ②添加配置文件 logback-spring.xml #####

> 让 logback 的日志输出到 logstash

> 注意 appender 节点下的 destination 需要改成你自己的 logstash 服务地址，比如我的是：192.168.145.13:4560 。

<?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE configuration>
    <configuration>
        <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
        <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
        
        <property name="APP_NAME" value="springboot-logback-elk-demo"/>
        
        <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
        <contextName>${APP_NAME}</contextName>
        
        <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                <fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
                <maxHistory>30</maxHistory>
            </rollingPolicy>
            <encoder>
                <pattern>${FILE_LOG_PATTERN}</pattern>
            </encoder>
        </appender>
        
        <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
            
            <destination>192.168.145.13:4560</destination>
            <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
        </appender>
        <root level="INFO">
            <appender-ref ref="CONSOLE"/>
            <appender-ref ref="FILE"/>
            <appender-ref ref="LOGSTASH"/>
        </root>
    </configuration>

##### ③运行测试 #####

测试类：

@SpringBootTest
    @Slf4j
    public class LogbackdemoApplicationTests {
        
    
        @Test
        public void contextLoads() {
        
            log.info("输出info");
            log.debug("输出debug");
            log.error("输出error");
        }
    }

![在这里插入图片描述][cdf00aaf73354c2baccd4d10df41f16d.png]

#### 2.4 使用kibana ####

1.  创建 index pattern  
    ![在这里插入图片描述][61bfc306a3f84feca261b58d48cb0002.png]  
    ![在这里插入图片描述][e9d88e0179d04e96b4ce852b750cfcc7.png]  
    ![在这里插入图片描述][6460649ed5cd47a38d029935088aa501.png]  
    成功创建：  
    ![在这里插入图片描述][8d366ec1ab634b34881c9dfebadb4b55.png]
2.  查看收集的日志  
    ![在这里插入图片描述][c200f42be4b34dbdb6bdb952b11bce57.png]
3.  筛选日志  
    ![在这里插入图片描述][393e319478f843d39ef05caef896e172.png]
4.  查看日志详情  
    ![在这里插入图片描述][34c7f38bf86945cba3f1095649013764.png]

> 搭建了 ELK 日志收集系统之后，我们如果要查看测试框架的日志信息，就不需要查看日志文件了，直接 在Kibana 中查看即可。

参考文章：  
https://cloud.tencent.com/developer/article/1704647?from=article.detail.1468662

[28993806ff3e40ada7d91a86a2b1c8f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/eb227133190e401d93a936b52f0bec6f.png
[docker]: https://editor.csdn.net/md/?articleId=127816970
[6a1c797bdb264188aa62c554e4159baa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0d5ebe08d897458ea2c1257da63a59c9.png
[97192f7971784f4e9127ac40bf76e8ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/366adf717eff444eb2633a94e04c8c0b.png
[fee1468b221841bb805a2c3b2387df97.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e561e0d49c454041b0a31ac2898b4569.png
[9d9908f1195f4ca1bd4fab236c79b0e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/38ba5a7f88ce480c9cc37a3e7237fcff.png
[fbc9791be0bd4470a748f61d23fc686b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/affc16b52a154f628030718b66178e5b.png
[a5301138c1934bd59dd81ebe09a9401a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f9fbb17abb544fdd9f433446f182c2b8.png
[2e4ee6ba65aa494a97d8a5a5936dc56c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a80ab2a43b074b9999f036a772e6df71.png
[ab908125505443e0ba4d65f638d85c6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b6d419d8d15c4b0cb45674cd2dafd89c.png
[61ed92dff80b4ebb8c3af34f7e18b15f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/054070605ba5409c8711932e195d5f06.png
[6af6c51da1ef46cfbe5fe4758b8f9647.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2873315a3fe64fc69a9724da9e221bde.png
[20f97e8ed9784ed194cf9f73dac57fe9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/12e25ecf2a3c46cf9b722ace9a45dc3a.png
[cff2374c257b4c568dca6ab4e6bc89e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/87345cd3fb914dcab3124d789e1b3685.png
[cdf00aaf73354c2baccd4d10df41f16d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7d0b5426651241c9a75fecf20a3fe408.png
[61bfc306a3f84feca261b58d48cb0002.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/59df86f3a803470fb8c3503125a8c396.png
[e9d88e0179d04e96b4ce852b750cfcc7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/45f94c1cb5ba435784d0595fce3eff62.png
[6460649ed5cd47a38d029935088aa501.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a7fef78715e84205be899c0b3ff02a3f.png
[8d366ec1ab634b34881c9dfebadb4b55.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/091c1962455e4b6abe6c46690dda7b69.png
[c200f42be4b34dbdb6bdb952b11bce57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e7d9c01b251f4cdb8689d403c7f03b0f.png
[393e319478f843d39ef05caef896e172.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4db251518def4eaab19b44939a181dbe.png
[34c7f38bf86945cba3f1095649013764.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5d95706ac94840ccbf563a99e5c31c81.png