Log4j2远程日志

Myth丶恋晨 2023-06-19 10:00 100阅读 0赞

远程管理日志

  • 可以集中管理日志：可以把多台服务器上的日志都发送到一台日志服务器上，方便管理、查看和分析(或者通过Logstash上传到elasticsearch中)
  • 可以减轻服务器的开销：日志不在服务器上了，因此服务器有更多可用的磁盘空间
  • 可以提高服务器的性能：通过异步方式，记录日志时服务器只负责发送消息，不关心日志记录的时间和位置，服务器甚至不关心日志到底有没有记录成功

在这里插入图片描述

常见的日志工具

  • log4j是apache实现的一个开源日志组件
  • logback同样是由log4j的作者设计完成的，拥有更好的特性，用来取代log4j的一个日志框架，是slf4j的原生实现
  • Log4j2是log4j 1.x和logback的改进版，据说采用了一些新技术（无锁异步、等等），使得日志的吞吐量、性能比log4j
    1.x提高10倍，并解决了一些死锁的bug，而且配置更加简单灵活

第一步：springboot使用log4j2需要添加以下架包

  1. <!--除去springboot自带的日志-->
  2. <dependency>
  3.    <groupId>org.springframework.boot</groupId>
  4.    <artifactId>spring-boot-starter</artifactId>
  5.    <exclusions>
  6.        <exclusion>
  7.            <groupId>org.springframework.boot</groupId>
  8.            <artifactId>spring-boot-starter-logging</artifactId>
  9.        </exclusion>
  10.    </exclusions>
  11. </dependency>
  13. <!--添加log4j2的依赖-->
  14. <dependency>
  15.    <groupId>org.springframework.boot</groupId>
  16.    <artifactId>spring-boot-starter-log4j2</artifactId>
  17. </dependency>

第二步：加载log4j2配置的文件的方式有以下几种

1.纯java的方式

  1. public static void main(String[] args) throws IOException {  
  2.    File file = new File("D:/log4j2.xml");  
  3.    BufferedInputStream in = new BufferedInputStream(new FileInputStream(file));  
  4.    final ConfigurationSource source = new ConfigurationSource(in);  
  5.    Configurator.initialize(null, source);  
  6.    Logger logger = LogManager.getLogger("myLogger");  
  7. }

2.spring web的方式

  1. <context-param>  
  2.    <param-name>log4jConfiguration</param-name>  
  3.    <param-value>/WEB-INF/conf/log4j2.xml</param-value>  
  4. </context-param>  
  5. <listener>  
  6.    <listener-class>org.apache.logging.log4j.web.Log4jServletContextListener</listener-class>  
  7. </listener>

3.spring boot的方式
application.properties中添加配置

  1. logging.config=classpath:log4j2_dev.xml

log4j2_dev.xml是你创建的log4j2的配置文件名，放在resources下，如放在其他路径则对应修改。

第三步：配置log4j2_dev.xml(本地)

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
  3. <!--Configuration后面的status,这个用于设置log4j2自身内部的信息输出,可以不设置,当设置成trace时,你会看到log4j2内部各种详细输出-->
  4. <!--monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身,设置间隔秒数-->
  5. <configuration status="WARN" monitorInterval="1800">
  6.    <Properties>
  7.        <!-- =================公共配置========================= -->
  8.        <!-- 设置日志文件的目录名称 -->
  9.        <property name="logFileName">qfxLog4jDemoLog</property>
  10.        <!-- 日志默认存放的位置,可以设置为项目根路径下,也可指定绝对路径 -->
  11.        <!-- 存放路径一:通用路径,window平台 -->
  12.          <property name="basePath">d:/logs/${logFileName}</property>
  13.        <!-- 存放路径二:web工程专用,java项目没有这个变量,需要删掉,否则会报异常,这里把日志放在web项目的根目录下 -->
  14.        <!-- <property name="basePath">${web:rootDir}/${logFileName}</property> -->
  15.        <!-- 存放路径三:web工程专用,java项目没有这个变量,需要删掉,否则会报异常,这里把日志放在tocmat的logs目录下 -->
  16.       <!--<property name="basePath">${sys:catalina.home}/logs/${logFileName}</property>-->
  19.        <!-- 控制台默认输出格式,"%-5level":日志级别,"%l":输出完整的错误位置,是小写的L,因为有行号显示,所以影响日志输出的性能 -->
  20.        <property name="console_log_pattern">%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %l - %m%n</property>
  21.        <!-- 日志文件默认输出格式,不带行号输出(行号显示会影响日志输出性能);%C:大写,类名;%M:方法名;%m:错误信息;%n:换行 -->
  22.        <!-- <property name="log_pattern">%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %C.%M - %m%n</property> -->
  23.        <!-- 日志文件默认输出格式,另类带行号输出(对日志输出性能未知);%C:大写,类名;%M:方法名;%L:行号;%m:错误信息;%n:换行 -->
  24.        <property name="log_pattern">%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %C.%M[%L line] - %m%n</property>
  27.        <!-- 日志默认切割的最小单位 -->
  28.        <property name="every_file_size">20MB</property>
  29.        <!-- 日志默认输出级别 -->
  30.        <property name="output_log_level">DEBUG</property>
  33.        <!-- ==================所有级别日志配置======================= -->
  34.        <!-- 日志默认存放路径(所有级别日志) -->
  35.        <property name="rolling_fileName">${basePath}/all.log</property>
  36.        <!-- 日志默认压缩路径,将超过指定文件大小的日志,自动存入按"年月"建立的文件夹下面并进行压缩,作为存档 -->
  37.        <property name="rolling_filePattern">${basePath}/%d{yyyy-MM}/all-%d{yyyy-MM-dd-HH}-%i.log.gz</property>
  38.        <!-- 日志默认同类型日志,同一文件夹下可以存放的数量,不设置此属性则默认为7个,filePattern最后要带%i才会生效 -->
  39.        <property name="rolling_max">500</property>
  40.        <!-- 日志默认同类型日志,多久生成一个新的日志文件,这个配置需要和filePattern结合使用;
  41.                如果设置为1,filePattern是%d{yyyy-MM-dd}到天的格式,则间隔一天生成一个文件
  42.                如果设置为12,filePattern是%d{yyyy-MM-dd-HH}到小时的格式,则间隔12小时生成一个文件 -->
  43.        <property name="rolling_timeInterval">12</property>
  44.        <!-- 日志默认同类型日志,是否对封存时间进行调制,若为true,则封存时间将以0点为边界进行调整,
  45.                如:现在是早上3am,interval是4,那么第一次滚动是在4am,接着是8am,12am...而不是7am -->    
  46.        <property name="rolling_timeModulate">true</property>
  49.        <!--=================Info级别日志====================== -->
  50.        <!-- Info日志默认存放路径(Info级别日志) -->
  51.        <property name="info_fileName">${basePath}/info.log</property>
  52.        <!-- Info日志默认压缩路径,将超过指定文件大小的日志,自动存入按"年月"建立的文件夹下面并进行压缩,作为存档 -->
  53.        <property name="info_filePattern">${basePath}/%d{yyyy-MM}/info-%d{yyyy-MM-dd}-%i.log.gz</property>
  54.        <!-- Info日志默认同一文件夹下可以存放的数量,不设置此属性则默认为7个 -->
  55.        <property name="info_max">100</property>
  56.        <!-- 日志默认同类型日志,多久生成一个新的日志文件,这个配置需要和filePattern结合使用;
  57.                如果设置为1,filePattern是%d{yyyy-MM-dd}到天的格式,则间隔一天生成一个文件
  58.                如果设置为12,filePattern是%d{yyyy-MM-dd-HH}到小时的格式,则间隔12小时生成一个文件 -->
  59.        <property name="info_timeInterval">1</property>
  60.        <!-- 日志默认同类型日志,是否对封存时间进行调制,若为true,则封存时间将以0点为边界进行调整,
  61.                如:现在是早上3am,interval是4,那么第一次滚动是在4am,接着是8am,12am...而不是7am -->    
  62.        <property name="info_timeModulate">true</property>
  65.        <!--===============Warn级别日志====================-->
  66.        <!-- Warn日志默认存放路径(Warn级别日志) -->
  67.        <property name="warn_fileName">${basePath}/warn.log</property>
  68.        <!-- Warn日志默认压缩路径,将超过指定文件大小的日志,自动存入按"年月"建立的文件夹下面并进行压缩,作为存档 -->
  69.        <property name="warn_filePattern">${basePath}/%d{yyyy-MM}/warn-%d{yyyy-MM-dd}-%i.log.gz</property>
  70.        <!-- Warn日志默认同一文件夹下可以存放的数量,不设置此属性则默认为7个 -->
  71.        <property name="warn_max">100</property>
  72.        <!-- 日志默认同类型日志,多久生成一个新的日志文件,这个配置需要和filePattern结合使用;
  73.                如果设置为1,filePattern是%d{yyyy-MM-dd}到天的格式,则间隔一天生成一个文件
  74.                如果设置为12,filePattern是%d{yyyy-MM-dd-HH}到小时的格式,则间隔12小时生成一个文件 -->
  75.        <property name="warn_timeInterval">1</property>
  76.        <!-- 日志默认同类型日志,是否对封存时间进行调制,若为true,则封存时间将以0点为边界进行调整,
  77.                如:现在是早上3am,interval是4,那么第一次滚动是在4am,接着是8am,12am...而不是7am -->    
  78.        <property name="warn_timeModulate">true</property>
  81.        <!--======================Error级别日志====================== -->
  82.        <!-- Error日志默认存放路径(Error级别日志) -->
  83.        <property name="error_fileName">${basePath}/error.log</property>
  84.        <!-- Error日志默认压缩路径,将超过指定文件大小的日志,自动存入按"年月"建立的文件夹下面并进行压缩,作为存档 -->
  85.        <property name="error_filePattern">${basePath}/%d{yyyy-MM}/error-%d{yyyy-MM-dd}-%i.log.gz</property>
  86.        <!-- Error日志默认同一文件夹下可以存放的数量,不设置此属性则默认为7个 -->
  87.        <property name="error_max">100</property>
  88.        <!-- 日志默认同类型日志,多久生成一个新的日志文件,这个配置需要和filePattern结合使用;
  89.                如果设置为1,filePattern是%d{yyyy-MM-dd}到天的格式,则间隔一天生成一个文件
  90.                如果设置为12,filePattern是%d{yyyy-MM-dd-HH}到小时的格式,则间隔12小时生成一个文件 -->
  91.        <property name="error_timeInterval">1</property>
  92.        <!-- 日志默认同类型日志,是否对封存时间进行调制,若为true,则封存时间将以0点为边界进行调整,
  93.                如:现在是早上3am,interval是4,那么第一次滚动是在4am,接着是8am,12am...而不是7am -->    
  94.        <property name="error_timeModulate">true</property>
  97.        <!-- ==================控制台显示控制====================== -->
  98.        <!-- 控制台显示的日志最低级别 -->
  99.        <property name="console_print_level">DEBUG</property>
  102.    </Properties>
  103.    <!--定义appender  即多个输出源 -->
  104.    <appenders>
  105.        <!-- ================用来定义输出到控制台的配置===================== -->
  106.        <Console name="Console" target="SYSTEM_OUT">
  107.            <!-- 设置控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
  108.            <ThresholdFilter level="${console_print_level}" onMatch="ACCEPT" onMismatch="DENY"/>
  109.            <!-- 设置输出格式,不设置默认为:%m%n -->
  110.            <PatternLayout pattern="${console_log_pattern}"/>
  111.        </Console>
  114.        <!-- =============打印root中指定的level级别以上的日志到文件=================-->
  115.        <RollingFile name="RollingFile" fileName="${rolling_fileName}" filePattern="${rolling_filePattern}">
  116.            <PatternLayout pattern="${log_pattern}"/>
  117.            <Policies>
  118.                <TimeBasedTriggeringPolicy interval="${rolling_timeInterval}" modulate="${warn_timeModulate}"/>
  119.                <SizeBasedTriggeringPolicy size="${every_file_size}"/>
  120.            </Policies>
  121.            <!-- 设置同类型日志,同一文件夹下可以存放的数量,如果不设置此属性则默认存放7个文件 -->
  122.            <DefaultRolloverStrategy max="${rolling_max}" />
  123.        </RollingFile>
  126.        <!-- ================打印INFO级别的日志到文件=================== -->
  127.        <RollingFile name="InfoFile" fileName="${info_fileName}" filePattern="${info_filePattern}">
  128.            <PatternLayout pattern="${log_pattern}"/>
  129.            <Policies>
  130.                <TimeBasedTriggeringPolicy interval="${info_timeInterval}" modulate="${info_timeModulate}"/>
  131.                <SizeBasedTriggeringPolicy size="${every_file_size}"/>
  132.            </Policies>
  133.            <DefaultRolloverStrategy max="${info_max}" />
  134.            <Filters>
  135.                <ThresholdFilter level="WARN" onMatch="DENY" onMismatch="NEUTRAL"/>  
  136.                <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
  137.            </Filters>
  138.        </RollingFile>
  141.        <!-- ========================打印WARN级别的日志到文件===================== -->
  142.        <RollingFile name="WarnFile" fileName="${warn_fileName}" filePattern="${warn_filePattern}">
  143.            <PatternLayout pattern="${log_pattern}"/>
  144.            <Policies>
  145.                <TimeBasedTriggeringPolicy interval="${warn_timeInterval}" modulate="${warn_timeModulate}"/>
  146.                <SizeBasedTriggeringPolicy size="${every_file_size}"/>
  147.            </Policies>
  148.            <DefaultRolloverStrategy max="${warn_max}" />
  149.            <Filters>
  150.                <ThresholdFilter level="ERROR" onMatch="DENY" onMismatch="NEUTRAL"/>  
  151.                <ThresholdFilter level="WARN" onMatch="ACCEPT" onMismatch="DENY"/>
  152.            </Filters>
  153.        </RollingFile>
  156.        <!-- ===================打印ERROR级别的日志到文=================== -->
  157.        <RollingFile name="ErrorFile" fileName="${error_fileName}" filePattern="${error_filePattern}">
  158.            <PatternLayout pattern="${log_pattern}"/>
  159.            <Policies>
  160.                <TimeBasedTriggeringPolicy interval="${error_timeInterval}" modulate="${error_timeModulate}"/>
  161.                <SizeBasedTriggeringPolicy size="${every_file_size}"/>
  162.            </Policies>
  163.            <DefaultRolloverStrategy max="${error_max}" />
  164.            <Filters>
  165.                <ThresholdFilter level="FATAL" onMatch="DENY" onMismatch="NEUTRAL"/>  
  166.                <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/>
  167.            </Filters>
  168.        </RollingFile>
  169.       <Socket name="logstash-tcp" host="47.94.101.75" port="4560" protocol="TCP">
  170.        <PatternLayout pattern="${log_pattern}"/>
  171.       </Socket>
  172.    </appenders>
  173.    <!--定义logger,只有定义了logger并引入的appender,appender才会生效-->
  174.    <loggers>
  175.        <!-- 设置打印sql语句配置开始,以下两者配合使用,可以优化日志的输出信息,减少一些不必要信息的输出 -->
  176.        <!-- 设置java.sql包下的日志只打印DEBUG及以上级别的日志,此设置可以支持sql语句的日志打印 -->
  177.        <logger name="java.sql" level="DEBUG" additivity="false">
  178.            <appender-ref ref="Console"/>
  179.        </logger>
  180.        <!-- 设置org.mybatis.spring包下的日志只打印WARN及以上级别的日志 -->
  181.        <logger name="org.mybatis.spring" level="WARN" additivity="false">
  182.            <appender-ref ref="Console"/>
  183.        </logger>
  184.        <!-- 设置org.mybatis.spring包下的日志只打印WARN及以上级别的日志 -->
  185.        <logger name="org.springframework" level="WARN" additivity="false">
  186.            <appender-ref ref="Console"/>
  187.        </logger>
  188.        <!-- 设置org.mybatis.spring包下的日志只打印WARN及以上级别的日志 -->
  189.        <logger name="com.qfx.workflow.service" level="WARN" additivity="false">
  190.            <appender-ref ref="Console"/>
  191.        </logger>
  192.        <!-- 设置打印sql语句配置结束 -->
  195.        <!--建立一个默认的root的logger-->
  196.        <root level="${output_log_level}">
  197.            <appender-ref ref="RollingFile"/>
  198.            <appender-ref ref="Console"/>
  199.            <appender-ref ref="InfoFile"/>
  200.            <appender-ref ref="WarnFile"/>
  201.            <appender-ref ref="ErrorFile"/>
  202.            <appender-ref ref="logstash-tcp"/>
  203.        </root>
  204.    </loggers>
  207. </configuration>
  • Configuration：为根节点，有status和monitorInterval等多个属性
  • Appenders：输出源，用于定义日志输出的地方log4j2支持的输出源有很多，有控制台Console、文件File、RollingRandomAccessFile、MongoDB、Flume等
  • Loggers：日志器 ,日志器分根日志器Root和自定义日志器，当根据日志名字获取不到指定的日志器时就使用Root作为默认的日志器

第四步：配置到外部服务器

https://blog.csdn.net/gotofind/article/details/79465998
log4j向远程发送日志是通过SocketAppender，一个基于socket的Appender程序（TCP协议通信），它不会对日志消息做任何的处理，仅仅是通过socket将日志发送到特定的服务器上。在SocketAppender中，只是简单的把LoggingEvent所直接对象通过序列化的方式发送到套接字的输出流上。

TCP的方式

  1. <Socket name="logstash-tcp" host="127.0.0.1" port="4560" protocol="TCP">
  2.    <PatternLayout pattern="${LOG_PATTERN}"/>
  3. </Socket>

UDP的方式

  1. <Socket name="logstash-udp" host="127.0.0.1" port="4560" protocol="UDP">
  2.        <PatternLayout pattern="${LOG_PATTERN}"/>
  3. </Socket>

配置

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
  3. <!--Configuration后面的status,这个用于设置log4j2自身内部的信息输出,可以不设置,当设置成trace时,你会看到log4j2内部各种详细输出-->
  4. <!--monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身,设置间隔秒数-->
  5. <configuration status="WARN" monitorInterval="1800">
  6.     <Properties>
  7.         <Property name="LOG_PATTERN">{"logger": "%logger", "level": "%level", "msg": "%message"}%n</Property>
  8.     </Properties>
  9.     <Appenders>
  10.         <Console name="Console" target="SYSTEM_OUT" follow="true">
  11.             <PatternLayout pattern="${LOG_PATTERN}"/>
  12.         </Console>
  13.         <Socket name="logstash-tcp" host="127.0.0.1" port="4560" protocol="TCP">
  14.             <PatternLayout pattern="${LOG_PATTERN}"/>
  15.         </Socket>
  16.     </Appenders>
  17.     <Loggers>
  18.         <Root level="INFO">
  19.             <AppenderRef ref="Console"/>
  20.             <AppenderRef ref="logstash-tcp" />
  21.         </Root>
  22.     </Loggers>
  23. </configuration>

logstash中接收log4j2

  • 旧的版本logstash中使用log4j来获取日志文件
  • 新的版本使用udp或者tcp

  • 新版本也可以通过安装filebeat，使用beats来获取

    input{
    udp {
    host=>”localhost”
    port=>4560
    }
    }
    filter {

    1.     mutate {
    2.             split => ["upstreamtime", ","]    
    3.     }
    4.     mutate {
    5.             convert => ["upstreamtime", "float"]
    6.     }

    }
    output{

    1.     elasticsearch {
    2.             hosts => ["127.0.0.1:9200"]   #elasticsearch地址
    3.             index => "mylogs"   #索引
    4.             workers => 1
    5.             template_overwrite => true   
    6.     }

    }

在这里插入图片描述

在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，100人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Log4j2远程日志

    远程管理日志 可以集中管理日志：可以把多台服务器上的日志都发送到一台日志服务器上，方便管理、查看和分析(或者通过Logstash上传到elasticsearch中)

    Myth丶恋晨Myth丶恋晨/ 0 赞/ 101 阅读

    相关 log4j打印日志

    log4j打印日志 日志在应用中发挥着作用，是应用的重要组成部分。日志用于记录应用的行为，记录应用的输入输出等，根据日志文件可以定位问题，挖掘数据，优化性能，统计应用各类

    怼烎@怼烎@/ 0 赞/ 379 阅读