日志 Logback 配置文件这么写，TPS 提高 10 倍

浅浅的花香味﹌ 2024-04-18 11:24 41阅读 0赞

点击上方“芋道源码”，选择“[设为星标][Link 1]”

做积极的人，而不是积极废人！

源码精品专栏

*  [中文详细注释的开源项目][Link 2]
 *  [RPC 框架 Dubbo 源码解析][RPC _ Dubbo]
 *  [网络应用框架 Netty 源码解析][Netty]
 *  [消息中间件 RocketMQ 源码解析][RocketMQ]
 *  [数据库中间件 Sharding-JDBC 和 MyCAT 源码解析][Sharding-JDBC _ MyCAT]
 *  [作业调度中间件 Elastic-Job 源码解析][Elastic-Job]
 *  [分布式事务中间件 TCC-Transaction 源码解析][TCC-Transaction]
 *  [Eureka 和 Hystrix 源码解析][Eureka _ Hystrix]
 *  [Java 并发源码][Java]

来源：http://rrd.me/ekN7A

*  通过阅读本篇文章将了解到
 *  配置文件logback-spring.xml
 *  部分标签说明
 *  logback 高级特性异步输出日志
 *  异步输出日志性能测试
 *  异步日志输出原理
 *  源码

--------------------

受台风利奇马的影响很多地方都迎来了强降雨，双休日不能出去玩一起学习吧，就先从最基本的配置讲起再介绍高级特性异步输出日志。如果只想看异步输出日志提升性能的部分请将文章往下拉一点。

# 通过阅读本篇文章将了解到 #

1.  日志输出到文件并根据LEVEL级别将日志分类保存到不同文件
2.  通过异步输出日志减少磁盘IO提高性能
3.  异步输出日志的原理

# 配置文件logback-spring.xml #

SpringBoot工程自带logback和slf4j的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。

logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将error日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。

<?xml version="1.0" encoding="utf-8"?>
    <configuration>
        <property resource="logback.properties"/>
        <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
            <layout class="ch.qos.logback.classic.PatternLayout">
                <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
            </layout>
        </appender>
        
        <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
            <filter class="ch.qos.logback.classic.filter.LevelFilter">
                <level>ERROR</level>
                <onMatch>DENY</onMatch>
                <onMismatch>ACCEPT</onMismatch>
            </filter>
            <encoder>
                <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
            </encoder>
    
            
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                
                <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
                <maxHistory>30</maxHistory>
            </rollingPolicy>
        </appender>
        <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
            <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
                <level>ERROR</level>
            </filter>
            <encoder>
                <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
            </encoder>
            
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                
                <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
                <maxHistory>30</maxHistory>
            </rollingPolicy>
        </appender>
    
        <root level="info">
            <appender-ref ref="CONSOLE-LOG" />
            <appender-ref ref="INFO-LOG" />
            <appender-ref ref="ERROR-LOG" />
        </root>
    </configuration>

# 部分标签说明 #

`<root>`标签，必填标签，用来指定最基础的日志输出级别

*  标签，添加append

`<append>`标签，通过使用该标签指定日志的收集策略

*  `name`属性指定appender命名
 *  `class`属性指定输出策略，通常有两种，控制台输出和文件输出，文件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台

`<filter>`标签，通过使用该标签指定过滤策略

*  标签指定过滤的类型

`<encoder>`标签，使用该标签下的标签指定日志输出格式`<rollingPolicy>`标签指定收集策略，比如基于时间进行收集

*  标签指定生成日志保存地址，通过这样配置已经实现了分类分天手机日志的目标了

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

# logback 高级特性异步输出日志 #

之前的日志配置方式是基于同步的，每次日志输出到文件都会进行一次磁盘IO。采用异步写日志的方式而不让此次写日志发生磁盘IO，阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单，添加一个基于异步写日志的appender，并指向原先配置的appender即可

<appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
            
            <discardingThreshold>0</discardingThreshold>
            
            <queueSize>256</queueSize>
            
            <appender-ref ref="INFO-LOG"/>
        </appender>
    
        <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
            
            <discardingThreshold>0</discardingThreshold>
            
            <queueSize>256</queueSize>
            
            <appender-ref ref="ERROR-LOG"/>
        </appender>

# 异步输出日志性能测试 #

既然能提高性能的话，必须进行一次测试比对，同步和异步输出日志性能到底能提升多少倍？

服务器硬件

*  CPU 六核
 *  内存 8G

测试工具

*  Apache Jmeter

同步输出日志

*  线程数：100
 *  Ramp-Up Loop(可以理解为启动线程所用时间) ：0
 *  可以理解为100个线程同时启用

测试结果

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

重点关注指标Throughput【TPS】吞吐量：系统在单位时间内处理请求的数量，在同步输出日志中TPS为44.2/sec

异步输出日志

*  线程数 100
 *  Ramp-Up Loop：0

测试结果

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

TPS为497.5/sec，性能提升了10多倍！！！

# 异步日志输出原理 #

从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法，查看该方法的源码:

protected void append(E eventObject) {
            if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
                this.preprocess(eventObject);
                this.put(eventObject);
            }
        }

通过队列情况判断是否需要丢弃日志，不丢弃的话将它放到阻塞队列中，通过查看代码，这个阻塞队列为ArrayBlockingQueueu，默认大小为256，可以通过配置文件进行修改。

Logger.info(…)到append(…)就结束了，只做了将日志塞入到阻塞队列的事，然后继续执行Logger.info(…)下面的语句了。

在AsyncAppenderBase类中定义了一个Worker线程，run方法中的关键部分代码如下:

E e = parent.blockingQueue.take();
    aai.appendLoopOnAppenders(e);

最主要的两个方法就是encode和write方法，前一个法方会根据配置文件中encode指定的方式转化为字节码，后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的，主线程将日志扔到阻塞队列中，然后又去做其他事情了。

# 源码 #

> https://github.com/TiantianUpup/springboot-log

--------------------

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，**长按下方二维码噢**：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 4]

已在知识星球更新源码解析如下：

![640?wx\_fmt=png][640_wx_fmt_png]

![640?wx\_fmt=png][640_wx_fmt_png 1]

![640?wx\_fmt=png][640_wx_fmt_png 2]

**如果你喜欢这篇文章，喜欢，转发。**

**生活很美好，明天见(｡･ω･｡)ﾉ♡**

[Link 1]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486188&idx=3&sn=f160d91ea23e5113e6077c500a2e30c4&chksm=fa49755dcd3efc4bf4f566fbbbf74c191d0b79f2d3222fd211bc52d80b5ef127f52b1158ed71&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486264&idx=1&sn=475ac3f1ef253a33daacf50477203c80&chksm=fa497489cd3efd9f7298f5da6aad0c443ae15f398436aff57cb2b734d6689e62ab43ae7857ac&scene=21#wechat_redirect
[RPC _ Dubbo]: https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247484647&idx=1&sn=9eb7e47d06faca20d530c70eec3b8d5c&chksm=fa497b56cd3ef2408f807e66e0903a5d16fbed149ef7374021302901d6e0260ad717d903e8d4&scene=21#wechat_redirect
[Netty]: https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247485054&idx=2&sn=9f3b85f7b8454634da6c5c2ded9b4dba&chksm=fa4979cfcd3ef0d9d2dd92d8d1bd8f1553abc6e2095a5d743e0b2c2afe4955ea2bbbd7a4b79d&token=55862109&lang=zh_CN&scene=21#wechat_redirect
[RocketMQ]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486256&idx=1&sn=81daccd3fcd2953456c917630636fb26&chksm=fa497481cd3efd97d9239f5eab060e49dea9876a6046eadba0effb878d2fb51f3ba5733e4c0b&scene=21#wechat_redirect
[Sharding-JDBC _ MyCAT]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486257&idx=1&sn=4d3c9c675f8833157641a2e0b48e498c&chksm=fa497480cd3efd96fe17975b0b8b141e87fd0a62673e6a30b501460de80b3eb997056f09de08&scene=21#wechat_redirect
[Elastic-Job]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486258&idx=1&sn=ae5665ae9c3002b53f87cab44948a096&chksm=fa497483cd3efd950514da5a37160e7fd07f0a96f39265cf7ba3721985e5aadbdcbe7aafc34a&scene=21#wechat_redirect
[TCC-Transaction]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486259&idx=1&sn=b023cf3dbf97e5da59db2f4ee632f5a6&chksm=fa497482cd3efd9402d71469f71863f71a6998b27e12ca2e00446b8178d79dcef0721d8e570a&scene=21#wechat_redirect
[Eureka _ Hystrix]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486260&idx=1&sn=8f14c0c191d6f8df6eb34202f4ad9708&chksm=fa497485cd3efd93937143a648bc1b530bc7d1f6f8ad4bf2ec112ffe34dee80b474605c22db0&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486261&idx=1&sn=bd69f26aadfc826f6313ffbb95e44ee5&chksm=fa497484cd3efd92352d6fb3d05ccbaebca2fafed6f18edbe5be70c99ba088db5c8a7a8080c1&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/21ebdc8faecb4208b14ea2231cb4c0d7.png
[640_wx_fmt_jpeg 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1b562f1728c24047b773cb6b5109665e.png
[640_wx_fmt_jpeg 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bbf10c68422e4edca0f45877e40476f5.png
[640_wx_fmt_jpeg 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/10574abb273b4409bb0d40069acb2705.png
[640_wx_fmt_jpeg 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f7de059396f14322b54eca9955b016e4.png
[640_wx_fmt_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0c51ef10d9824eeebb57292aa594218a.png
[640_wx_fmt_png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1aeca58a3e0340dc8778454f021dde76.png
[640_wx_fmt_png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/12672818925d46da9baa1deb35377419.png