nginx日志切割/分割，按天生成&定期删除日志

r囧r小猫 2022-04-10 14:40 1153阅读 0赞

问题：nginx会按照nginx.conf的配置生成access.log和error.log，随着访问量的增长，日志文件会越来越大，既会影响访问的速度(写入日志时间延长)，也会增加查找日志的难度，nginx没有这种按天或更细粒度生成日志的机制。所以下面介绍三种方法：

*  1.Nginx内部配置设置日志文件格式。**(推荐方法1，map方式)**
 *  2.写脚本，通过定时任务按天重命名日志、重启nginx的方法实现（有重启失败的风险）
 *  3.通过工具cronolog实现。

# 方法1 #

需要使用到 timeiso8601内嵌变量来获取时间。 time\_iso8601 内嵌变量来获取时间。time iso8601内嵌变量来获取时间。time\_iso8601格式如下：2018-09-21T16:01:02+02:00。然后使用正则表达式来获取所需时间的数据。

## 按天分割日志 ##

配置在server段：

**`注意层次关系，这段脚本一定要加到server配置内部，且``if``要在access_log前面，否则``set``的变量将无法引用`**

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
            set $year $1;
            set $month $2;
            set $day $3;
    }
     access_log  /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day.log  main;

查看日志是否生成：

\[xx@xxx access\]\# ll  xxxxx\_xx\_access\_2018-09-21.log   
\-rw-r--r-- 1 root root 408848 Sep 21 16:01 xxxxx\_xx\_access\_2018-09-21.log

## 按小时、分、秒分割： ##

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})")
    {
        set $year $1;
        set $month $2;
        set $day $3;
        set $hour $4;
        set $minutes $5;
        set $seconds $6;
    }
    access_log  /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day-hour-minutes-seconds.log  main;

在必要的时候可以按小时分割,方便日志分析。

## 上面的方法有两个问题： ##

1.  一是如果`if`条件不成立，那么`$year`、`$month`和`$month`这三个变量将不会被设置，那么日志将会记录到`access-$year-$month-$day.log`这个文件中；
2.  **二是`if`只能出现在`server`和`location`块中，而`access_log`通常会配置到顶层的`http`块中，这时候`if`就不适用**。

如果要在`http`块中设置`access_log`，更好的方法是使用`map`指令：

map $time_iso8601 $logdate {
    '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
    default 'date-not-found';
    }
    access_log logs/access-$logdate.log main;

**`map`指令通过设置默认值，保证`$logdate`始终有值，并且可以出现在`http`块中，完美地解决了`if`指令的问题**。

最后，为了提高日志的效率，建议配置**`open_log_file_cache`**，完整的日志分割配置如下：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
    '$status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for"';
    
    map $time_iso8601 $logdate {
    '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
    default 'date-not-found';
    }
    
    access_log logs/access-$logdate.log main;
    open_log_file_cache max=10;

但是缺点：**每次请求都会进行map的正则表达式匹配，对性能有影响。**

# 方法2 #

2：创建分割日志文件的脚本，添加定时任务  
2.1.1写脚本：重命名日志文件、重启nginx  
例如存放路径：/usr/local/nginx/sbin/cut\_nginx\_logs.sh,按天分割具体内容：

#!/bin/bash
    #function:cut nginx log files
    
    #set the path to nginx log files
    log_files_path="/data/nginxlog/"
    log_files_dir=${log_files_path}
    
    #set nginx log files you want to cut
    log_files_name=(access )
    
    #set the path to nginx.
    nginx_sbin="/usr/local/nginx/sbin/nginx"
    
    #Set how long you want to save
    save_days=30
    ############################################
    #Please do not modify the following script #
    ############################################
    #mkdir -p $log_files_dir
    log_files_num=${#log_files_name[@]}
    
    #cut nginx log files
    for((i=0;i<$log_files_num;i++));do
        mv ${log_files_path}${log_files_name[i]}.log ${log_files_dir}${log_files_name[i]}.log_$(date -d "yesterday" +"%Y-%m-%d")
    done
    
    #delete 30 days ago nginx log files
    find $log_files_path -mtime +$save_days -exec rm -rf {} \; 
    
    #restart nginx
    $nginx_sbin -s reload

2.1.2.使用crontab添加定时任务

//打开定时任务
    crontab -e
    //进入编辑模式
    i
    //添加定时任务
    00 00 * * * /bin/sh  /usr/local/nginx/sbin/cut_nginx_logs.sh
    //保存退出
    :wq！
    //重启crontab服务
    /etc/init.d/crond restart
    //查看定时任务,就会看到你添加的内容了
    crontab -l

另外一个脚本格式：

2.2.1.编写脚本

#!/bin/bash
    year=`date +%Y`
    month=`date +%m`
    day=`date +%d`
    logs_backup_path="/usr/local/nginx/logs_backup/$year$month"               #日志存储路径
    
    logs_path="/usr/local/nginx/logs/"                                                             #要切割的日志路径
    logs_access="access"                                                                            #要切割的日志
    logs_error="error"
    pid_path="/usr/local/nginx/logs/nginx.pid"                                                 #nginx的pid
    
    [ -d $logs_backup_path ]||mkdir -p $logs_backup_path
    rq=`date +%Y%m%d`
    
    #mv ${logs_path}${logs_access}.log ${logs_backup_path}/${logs_access}_${rq}.log
    mv ${logs_path}${logs_error}.log ${logs_backup_path}/${logs_error}_${rq}.log
    kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

2.2.2做定时任务

crontab –e
    
    59 23 * * * bash /usr/local/nginx/shell/cut_ngnix_log.sh   #每天23：59分开始执行；

# 方法三：通过cronolog工具实现 #

##    3.1 下载安装cronolog ##

3.1.1 下载：官网下载或我的百度云盘

3.1.2 安装

1.解压缩
    # tar zxvf cronolog-1.6.2.tar.gz
    2.进入安装文件所在目录
    # cd cronolog-1.6.2
    3.运行安装
    # ./configure
    # make
    # make install
    4.查看cronolog安装后所在目录（验证安装是否成功）
    # which cronolog
    一般情况下显示为：/usr/local/sbin/cronolog

## 3.2 使用cronolog ##

3.2.1.创建命名管道

mkfifo /usr/local/nginx/access\_log\_pipe  
  
3.2.2 配置cronolog,日期按天  
如果按小时使用access\_%Y-%m-%d-%H.log;如果按分钟使用access\_%Y-%m-%d-%H-%M.log  
3.2.3 修改配置/usr/local/nginx/conf/nginx.conf

...
    access_log  /usr/local/nginx/access_log_pipe  main;
    ...
    
    nohup cat /usr/local/nginx/access_log_pipe | /usr/local/sbin/cronolog /usr/local/nginx/logs/access-%Y-%m-%d.log &

3.2.4 重启nginx

cd /usr/local/nginx/sbin  
./nginx -s reload  
  
3.2.5 查看效果

[root@app2 /]# cd /usr/local/nginx/logs/
    [root@app2 logs]# ll
    total 3544
    -rw-r--r-- 1 root root       0 Oct  1 07:20 8099.access.log
    -rw-r--r-- 1 root root 3599534 Oct  1 07:58 access-2016-10-01.log
    -rw-r--r-- 1 root root     235 Oct  1 07:20 error.log
    -rw-r--r-- 1 root root       5 Oct  1 06:34 nginx.pid

## 3.3 定期删除日志 ##

## 3.3.1 新建sh,删除5天前的 ##

\[root@app2 sh\]\# pwd  
/usr/local/nginx/sh  
\[root@app2 sh\]\# vi delete\_nginx\_logs.sh   
  
添加内容

#set the path to nginx log files
    log_files_path="/usr/local/nginx/logs/"
    save_days=5
    #delete ? days ago nginx log files
    find $log_files_path -mtime +$save_days -exec rm -rf {} \;

##    3.3.2 添加定时任务 ##

[root@localhost sh]# crontab -e
    00 00 * * * /bin/sh  /usr/local/nginx/sh/delete_nginx_logs.sh

##    3.4Tomcat按天切割catalina.out ##

安装cronolog后，修改tomcat/bin/catalina.sh中一下内容，注意找到准确信息，2处。

原内容：

org.apache.catalina.startup.Bootstrap "$@" start \
     >> "$CATALINA_OUT" 2>&1 "&"
    修改为：注意换行后顶格，否则启动报错。     
    org.apache.catalina.startup.Bootstrap "$@" start 2>&1 \
    | /usr/local/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out >> /dev/null &

修改后按之前方式启动./startup.sh即可看到logs目录下生成当前日期文件  
catalina.2018-10-11.out

\-rw-rw-r-- 1 root root     0 Oct 11 15:16 catalina.out  
\-rw-rw-r-- 1 root root     0 Oct 11 15:16 manager.2018-10-11.log  
\-rw-rw-r-- 1 root root     0 Oct 11 15:16 host-manager.2018-10-11.log  
\-rw-rw-r-- 1 root root   584 Oct 11 15:16 localhost.2018-10-11.log  
\-rw-rw-r-- 1 root root  1646 Oct 11 15:16 catalina.2018-10-11.log  
\-rw-rw-r-- 1 root root 29143 Oct 11 15:16 catalina.2018-10-11.out