Log4j2远程日志

Myth丶恋晨 2023-06-19 10:00 2阅读 0赞

## 远程管理日志 ##

*  可以集中管理日志：可以把多台服务器上的日志都发送到一台日志服务器上，方便管理、查看和分析(或者通过Logstash上传到elasticsearch中)
 *  可以减轻服务器的开销：日志不在服务器上了，因此服务器有更多可用的磁盘空间
 *  可以提高服务器的性能：通过异步方式，记录日志时服务器只负责发送消息，不关心日志记录的时间和位置，服务器甚至不关心日志到底有没有记录成功

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70]

常见的日志工具

*  log4j是apache实现的一个开源日志组件
 *  logback同样是由log4j的作者设计完成的，拥有更好的特性，用来取代log4j的一个日志框架，是slf4j的原生实现
 *  Log4j2是log4j 1.x和logback的改进版，据说采用了一些新技术（无锁异步、等等），使得日志的吞吐量、性能比log4j  
    1.x提高10倍，并解决了一些死锁的bug，而且配置更加简单灵活

## 第一步：springboot使用log4j2需要添加以下架包 ##

<dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter</artifactId>
       <exclusions>
           <exclusion>
               <groupId>org.springframework.boot</groupId>
               <artifactId>spring-boot-starter-logging</artifactId>
           </exclusion>
       </exclusions>
    </dependency>
    
    
    <dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter-log4j2</artifactId>
    </dependency>

## 第二步：加载log4j2配置的文件的方式有以下几种 ##

1.纯java的方式

public static void main(String[] args) throws IOException {  
       File file = new File("D:/log4j2.xml");  
       BufferedInputStream in = new BufferedInputStream(new FileInputStream(file));  
       final ConfigurationSource source = new ConfigurationSource(in);  
       Configurator.initialize(null, source);  
       Logger logger = LogManager.getLogger("myLogger");  
    }

2.spring web的方式

<context-param>  
       <param-name>log4jConfiguration</param-name>  
       <param-value>/WEB-INF/conf/log4j2.xml</param-value>  
    </context-param>  
    <listener>  
       <listener-class>org.apache.logging.log4j.web.Log4jServletContextListener</listener-class>  
    </listener>

3.spring boot的方式  
application.properties中添加配置

logging.config=classpath:log4j2_dev.xml

log4j2\_dev.xml是你创建的log4j2的配置文件名，放在resources下，如放在其他路径则对应修改。

## 第三步：配置log4j2\_dev.xml(本地) ##

<?xml version="1.0" encoding="UTF-8"?>
    
    
    
    <configuration status="WARN" monitorInterval="1800">
       <Properties>
           
           
           <property name="logFileName">qfxLog4jDemoLog</property>
           
           
             <property name="basePath">d:/logs/${logFileName}</property>
           
           
           
          
    
    
           
           <property name="console_log_pattern">%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %l - %m%n</property>
           
           
           
           <property name="log_pattern">%d{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] %C.%M[%L line] - %m%n</property>
    
    
           
           <property name="every_file_size">20MB</property>
           
           <property name="output_log_level">DEBUG</property>
    
    
           
           
           <property name="rolling_fileName">${basePath}/all.log</property>
           
           <property name="rolling_filePattern">${basePath}/%d{yyyy-MM}/all-%d{yyyy-MM-dd-HH}-%i.log.gz</property>
           
           <property name="rolling_max">500</property>
           
           <property name="rolling_timeInterval">12</property>
               
           <property name="rolling_timeModulate">true</property>
    
    
           
           
           <property name="info_fileName">${basePath}/info.log</property>
           
           <property name="info_filePattern">${basePath}/%d{yyyy-MM}/info-%d{yyyy-MM-dd}-%i.log.gz</property>
           
           <property name="info_max">100</property>
           
           <property name="info_timeInterval">1</property>
               
           <property name="info_timeModulate">true</property>
    
    
           
           
           <property name="warn_fileName">${basePath}/warn.log</property>
           
           <property name="warn_filePattern">${basePath}/%d{yyyy-MM}/warn-%d{yyyy-MM-dd}-%i.log.gz</property>
           
           <property name="warn_max">100</property>
           
           <property name="warn_timeInterval">1</property>
               
           <property name="warn_timeModulate">true</property>
    
    
           
           
           <property name="error_fileName">${basePath}/error.log</property>
           
           <property name="error_filePattern">${basePath}/%d{yyyy-MM}/error-%d{yyyy-MM-dd}-%i.log.gz</property>
           
           <property name="error_max">100</property>
           
           <property name="error_timeInterval">1</property>
               
           <property name="error_timeModulate">true</property>
    
    
           
           
           <property name="console_print_level">DEBUG</property>
    
    
       </Properties>
       
       <appenders>
           
           <Console name="Console" target="SYSTEM_OUT">
               
               <ThresholdFilter level="${console_print_level}" onMatch="ACCEPT" onMismatch="DENY"/>
               
               <PatternLayout pattern="${console_log_pattern}"/>
           </Console>
    
    
           
           <RollingFile name="RollingFile" fileName="${rolling_fileName}" filePattern="${rolling_filePattern}">
               <PatternLayout pattern="${log_pattern}"/>
               <Policies>
                   <TimeBasedTriggeringPolicy interval="${rolling_timeInterval}" modulate="${warn_timeModulate}"/>
                   <SizeBasedTriggeringPolicy size="${every_file_size}"/>
               </Policies>
               
               <DefaultRolloverStrategy max="${rolling_max}" />
           </RollingFile>
    
    
           
           <RollingFile name="InfoFile" fileName="${info_fileName}" filePattern="${info_filePattern}">
               <PatternLayout pattern="${log_pattern}"/>
               <Policies>
                   <TimeBasedTriggeringPolicy interval="${info_timeInterval}" modulate="${info_timeModulate}"/>
                   <SizeBasedTriggeringPolicy size="${every_file_size}"/>
               </Policies>
               <DefaultRolloverStrategy max="${info_max}" />
               <Filters>
                   <ThresholdFilter level="WARN" onMatch="DENY" onMismatch="NEUTRAL"/>  
                   <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
               </Filters>
           </RollingFile>
    
    
           
           <RollingFile name="WarnFile" fileName="${warn_fileName}" filePattern="${warn_filePattern}">
               <PatternLayout pattern="${log_pattern}"/>
               <Policies>
                   <TimeBasedTriggeringPolicy interval="${warn_timeInterval}" modulate="${warn_timeModulate}"/>
                   <SizeBasedTriggeringPolicy size="${every_file_size}"/>
               </Policies>
               <DefaultRolloverStrategy max="${warn_max}" />
               <Filters>
                   <ThresholdFilter level="ERROR" onMatch="DENY" onMismatch="NEUTRAL"/>  
                   <ThresholdFilter level="WARN" onMatch="ACCEPT" onMismatch="DENY"/>
               </Filters>
           </RollingFile>
    
    
           
           <RollingFile name="ErrorFile" fileName="${error_fileName}" filePattern="${error_filePattern}">
               <PatternLayout pattern="${log_pattern}"/>
               <Policies>
                   <TimeBasedTriggeringPolicy interval="${error_timeInterval}" modulate="${error_timeModulate}"/>
                   <SizeBasedTriggeringPolicy size="${every_file_size}"/>
               </Policies>
               <DefaultRolloverStrategy max="${error_max}" />
               <Filters>
                   <ThresholdFilter level="FATAL" onMatch="DENY" onMismatch="NEUTRAL"/>  
                   <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/>
               </Filters>
           </RollingFile>
          <Socket name="logstash-tcp" host="47.94.101.75" port="4560" protocol="TCP">
           <PatternLayout pattern="${log_pattern}"/>
          </Socket>
       </appenders>
       
       <loggers>
           
           
           <logger name="java.sql" level="DEBUG" additivity="false">
               <appender-ref ref="Console"/>
           </logger>
           
           <logger name="org.mybatis.spring" level="WARN" additivity="false">
               <appender-ref ref="Console"/>
           </logger>
           
           <logger name="org.springframework" level="WARN" additivity="false">
               <appender-ref ref="Console"/>
           </logger>
           
           <logger name="com.qfx.workflow.service" level="WARN" additivity="false">
               <appender-ref ref="Console"/>
           </logger>
           
    
    
           
           <root level="${output_log_level}">
               <appender-ref ref="RollingFile"/>
               <appender-ref ref="Console"/>
               <appender-ref ref="InfoFile"/>
               <appender-ref ref="WarnFile"/>
               <appender-ref ref="ErrorFile"/>
               <appender-ref ref="logstash-tcp"/>
           </root>
       </loggers>
    
    
    </configuration>

*  Configuration：为根节点，有status和monitorInterval等多个属性
 *  Appenders：输出源，用于定义日志输出的地方log4j2支持的输出源有很多，有控制台Console、文件File、RollingRandomAccessFile、MongoDB、Flume等
 *  Loggers：日志器 ,日志器分根日志器Root和自定义日志器，当根据日志名字获取不到指定的日志器时就使用Root作为默认的日志器

## 第四步：配置到外部服务器 ##

https://blog.csdn.net/gotofind/article/details/79465998  
log4j向远程发送日志是通过SocketAppender，一个基于socket的Appender程序（TCP协议通信），它不会对日志消息做任何的处理，仅仅是通过socket将日志发送到特定的服务器上。在SocketAppender中，只是简单的把LoggingEvent所直接对象通过序列化的方式发送到套接字的输出流上。

TCP的方式

UDP的方式

配置

logstash中接收log4j2

*  旧的版本logstash中使用log4j来获取日志文件
 *  新的版本使用udp或者tcp
 *  新版本也可以通过安装filebeat，使用beats来获取

input{
    udp {
    host=>"localhost"
    port=>4560
    }
    }
    filter {
            mutate {
                    split => ["upstreamtime", ","]    
            }
            mutate {
                    convert => ["upstreamtime", "float"]
            }
    }
    output{
            elasticsearch {
                    hosts => ["127.0.0.1:9200"]   #elasticsearch地址
                    index => "mylogs"   #索引
                    workers => 1
                    template_overwrite => true   
            }
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191205215854270.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191205215937189.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200812233441192.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk5MDgxOA==,size_16,color_FFFFFF,t_70#pic_center