访问日志不记录静态文件、日志切割、静态文件管理

Myth丶恋晨 2022-05-23 02:08 130阅读 0赞

##  ##

## 访问日志不记录静态文件 ##

编辑虚拟主机配置文件“httpd-vhosts.conf”：

[root@123 ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
    ……
    <VirtualHost *:80>
        DocumentRoot "/data/wwwroot/111.com"
        ServerName 111.com
        ServerAlias www.example.com
        <IfModule mod_rewrite.c>
            RewriteEngine on
            RewriteCond %{HTTP_HOST} !^111.com$
            RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]
        </IfModule>
        ErrorLog "logs/111.com-error_log"
        SetEnvIf Request_URI ".*\.gif$" img
        SetEnvIf Request_URI ".*\.jpg$" img 
        SetEnvIf Request_URI ".*\.png$" img
        SetEnvIf Request_URI ".*\.bmp$" img
        SetEnvIf Request_URI ".*\.swf$" img
        SetEnvIf Request_URI ".*\.js$" img
        SetEnvIf Request_URI ".*\.css$" img  
        #以上为定义变量：将所有关于图片的请求定义为变量img
        CustomLog "logs/111.com-access_log" combined env=!img
        #“env=!img”表示非img变量。本行命令的含义是：不记录关于变量img的请求日志。
    </VirtualHost>

说明： 将所有访问图片的请求定义为变量img，在访问记录（日志）中将其排除即可。重新加载后使用curl访问img变量中所指定格式的文件内容时将不会产生访问记录。

--------------------

### 扩展： ###

#### apache日志记录客户端请求的域名   ####

正常情况下，根本就没有必要记录这一项，毕竟咱们大都根据虚拟主机来设置相应的访问日志，但也有个别的情况，比如 ServerName \*.abc.com这样泛解析的形式，所以有必要记录一下用户请求的域名到底是哪个。 而apache的LogFormat 中正好有一项值满足了这个需求。即 %V  这里是大写的V ,小写的v 记录的是咱们在虚拟主机中设置的ServerName ，这个的确是没有必要记录的。

#### apache只记录指定URI的日志 ####

需求： 把类似请求 www.aaa.com/aaa/... 这样的请求才记录日志。

方法：   在httpd.conf 或者 相关的虚拟主机配置文件中添加：

SetEnvIf Request_URI "^/aaa/.*" aaa-request  
    CustomLog "|/usr/local/apache/bin/rotatelogs -l /usr/local/apache/logs/aaa-access_%Y%m%d.log 86400" combined env=aaa-request

原理和不记录图片等静态访问的日志（ [http://www.lishiming.net/thread-561-1-1.html][http_www.lishiming.net_thread-561-1-1.html] ）是一样的。

#### apache日志中记录代理IP以及真实客户端IP   ####

默认情况下log日志格式为：

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

，其中%h 是记录访问者的IP，如果在web的前端有一层代理，那么这个%h其实就是代理机器的IP，这不是我们想要的。我们需要的是记录客户端的真实IP，“%\{X-FORWARDED-FOR\}i ”该字段会记录客户端真实IP，所以log日志的格式应改为：

LogFormat "%h %{X-FORWARDED-FOR}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

##     ##

## 访问日志切割目录概要 ##

*  日志一直记录总有一天会把整个磁盘占满，所以有必要让它自动切割，并删除老的日志文件
 *  把虚拟主机配置文件改成如下：

1.  打开配置文件

*  vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf

[root@123 ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
    
    更改CustomLog配置
    1.首先指定一个工具rotatelogs
    2.在定义一个日志的名称%Y%m%d
    3.规定时间去生成，时间段就为1天，换算成秒，就是86400秒
    
    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/123.com-access_%Y%m%d.log 86400" combined env=!img
    
    然后保存退出

*  rotatelogs工具，它是Apache自带的一个切割工具
    
     *  \-l参数，目的是以当前系统时间为基准。如果不指定 -l ，那么就会指定 UTC时间 的格式去切割日志
        
         *  在中国应该是 CST，在美国是 UTC ，两者时区不同，相差几个小时
 *  定义日志的名称，因为是切割的，所以根据时间日期让它自动变，就需要加一个变量%Y%m%d
    
     *  %Y，表示 年
     *  %m，表示 月
     *  %d，表示 日
 *  按规定时间去生成，时间段为1天，换算成秒，就是86400秒

1.  然后查看配置文件语法有无错误，并重新加载配置文件

[root@123 ~]# /usr/local/apache2.4/bin/apachectl -t
    Syntax OK
    [root@123 ~]# /usr/local/apache2.4/bin/apachectl graceful
    [root@123 ~]#

1.  这时候还需要去做一些访问，因为还没有任何的日志生成，在这个目录下还没有生成一个新的文件

[root@123 ~]# ls /usr/local/apache2.4/logs/
    111.com-access_log  abc.com-access_log  access_log  httpd.pid
    111.com-error_log   abc.com-error_log   error_log
    [root@123 ~]#

1.  用curl命令访问

[root@123 ~]# curl -x127.0.0.1:80 111.com/123.php
    123.php[root@hf-01 ~]#

1.  这时候会看到一个以日期为后缀的新日志文件

[root@123 ~]# !ls
    ls /usr/local/apache2.4/logs/
    111.com-access_log           abc.com-access_log  error_log
    111.com-error_log            abc.com-error_log   httpd.pid
    123.com-access_20171222.log  access_log
    [root@123 ~]#

1.  查看新生成的日志文件内容，会看到就是刚刚curl命令访问的

[root@123 ~]# cat /usr/local/apache2.4/logs/123.com-access_20171222.log
    127.0.0.1 - - [22/Dec/2017:05:32:02 +0800] "GET HTTP://111.com/123.php HTTP/1.1" 200 7 "-" "curl/7.29.0"
    [root@123 ~]#

1.  在以后的凌晨0点的时候，就会生成一个新的日志
2.  另外还需要做一个任务计划，超过一个月或两个月的日志删除，如果不删除，那是否切割日志就没有意义了

## 日志切割总结 ##

*  做日志切割的目的，是为了防止磁盘写满，另一个目的就是为了更方便的去管理日志

## 配置静态元素过期时间目录概要 ##

*  浏览器访问网站的图片时会把静态的文件缓存在本地电脑里，这样下次再访问时就不用去远程下载了 增加配置

<IfModule mod_expires.c>
        ExpiresActive on  //打开该功能的开关
        ExpiresByType image/gif  "access plus 1 days"
        ExpiresByType image/jpeg "access plus 24 hours"
        ExpiresByType image/png "access plus 24 hours"
        ExpiresByType text/css "now plus 2 hour"
        ExpiresByType application/x-javascript "now plus 2 hours"
        ExpiresByType application/javascript "now plus 2 hours"
        ExpiresByType application/x-shockwave-flash "now plus 2 hours"
        ExpiresDefault "now plus 0 min"
    </IfModule>

*  需要expires\_module
 *  curl测试，看cache-control: max-age

## 配置静态元素过期时间 ##

*  静态元素，就是访问的图片、css、js
 *  当用浏览器去访问一个网站的时候，这个网站里所有的静态文件（比如图片的样式、js），浏览器就会默认把静态文件缓存在电脑里，叫做临时的目录或目录
    
     *  缓存的时间是在服务器上定义的，如果不去定义，那么浏览器也不会把这些文件清空，或者浏览器有自己的机制去清空这些文件，或者说电脑软件会定时帮你清理这些缓存的文件
     *  为什么电脑会自动加载这些静态文件呢？目的就是第二次，第三次访问的时候，不去服务器去下载这些静态文件了
 *  在使用浏览器自带的F12键去进行比对，第一次访问一个图片的时候是200的状态码，第二次访问的时候，就是304，它检测到下载的图片并没有修改过，所以就不会重新到服务器下载一次，这样可以节省带宽，但没有规定缓存什么时候清空，什么时候去服务器上去下载，再次下载，因为只要浏览器检测到图片未做更改，它这个状态码就一直为304,304这个状态码就意味着他不会去服务器下载

## 定义静态文件失效日期 ##

*  expires\_module模块，定义失效日期

1.  打开虚拟主机配置文件vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf，并添加配置文件

*  需要添加的配置文件
    
     *  这里有所有的图片定义成一天
     *  所有的 css 和 js 都定义成两小时
     *  其他的没有任何的缓存

<IfModule mod_expires.c>
        ExpiresActive on      //打开该功能的开关
        ExpiresByType image/gif  "access plus 1 days"    //定义Type类型，这里是一天
        ExpiresByType image/jpeg "access plus 24 hours"        //定义Type类型，这里是24小时
        ExpiresByType image/png "access plus 24 hours"        //定义Type类型
        ExpiresByType text/css "now plus 2 hour"                        //定义Type类型，两小时
        ExpiresByType application/x-javascript "now plus 2 hours"       // 定义Type类型
        ExpiresByType application/javascript "now plus 2 hours"        //定义Type类型
        ExpiresByType application/x-shockwave-flash "now plus 2 hours"        //定义Type类型
        ExpiresDefault "now plus 0 min"            //定义Type类型
    </IfModule>

*  在配置文件中添加

[root@123 ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf
    
    
    <VirtualHost *:80>
        DocumentRoot "/data/wwwroot/111.com"
        ServerName 111.com
    <VirtualHost *:80>
        DocumentRoot "/data/wwwroot/111.com"
        ServerName 111.com
        ServerAlias www.example.com 2111.com.cn
        #<Directory /data/wwwroot/111.com> 
        #<FilesMatch 123.php>
        # AllowOverride AuthConfig 
        # AuthName "111.com user auth"
        # AuthType Basic 
        # AuthUserFile /data/.htpasswd 
        # require valid-user
        # </FilesMatch>
        #</Directory>
        <IfModule mod_rewrite.c>
            RewriteEngine on
            RewriteCond %{HTTP_HOST} !^111.com$
            RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]
       </IfModule> <IfModule mod_expires.c> ExpiresActive on ExpiresByType image/gif  "access plus 1 days"
        ExpiresByType image/jpeg "access plus 24 hours"
        ExpiresByType image/png "access plus 24 hours"
        ExpiresByType text/css "now plus 2 hour"
        ExpiresByType application/x-javascript "now plus 2 hours"
        ExpiresByType application/javascript "now plus 2 hours"
        ExpiresByType application/x-shockwave-flash "now plus 2 hours"
        ExpiresDefault "now plus 0 min"
    </IfModule> ErrorLog "logs/111.com-error_log" SetEnvIf Request_URI ".*\.gif$" img
        SetEnvIf Request_URI ".*\.jpg$" img SetEnvIf Request_URI ".*\.png$" img
        SetEnvIf Request_URI ".*\.bmp$" img SetEnvIf Request_URI ".*\.swf$" img
        SetEnvIf Request_URI ".*\.js$" img SetEnvIf Request_URI ".*\.css$" img
       CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/123.com-access_%Y%m%d.log 86400" combined env=!img
    </VirtualHost> 并保存退出

1.  然后检查是否存在语法错误

[root@123 ~]# /usr/local/apache2.4/bin/apachectl -t
    Syntax OK
    [root@123 ~]#

1.  查看expire模块是否打开，会发现expire模块没有打开

[root@123 ~]# /usr/local/apache2.4/bin/apachectl -M |grep expire
    [root@123 ~]#

1.  编辑主配置文件，打开expire模块

*  vim /usr/local/apache2.4/conf/httpd.conf

[root@hf123 ~]# vim /usr/local/apache2.4/conf/httpd.conf
    
    搜索 /expire ，找到该行的配置文件，并去除的注释符 # 号
    LoadModule expires_module modules/mod_expires.so
    
    然后保存退出

1.  在重新加载配置文件，并查看expire模块

[root@hf123 ~]# /usr/local/apache2.4/bin/apachectl graceful
    [root@hf123 ~]# /usr/local/apache2.4/bin/apachectl -M |grep expire
     expires_module (shared)
    [root@hf123 ~]#

1.  按ctrl+F5可以强制把浏览器本地的缓存清空
2.  用curl命令去访问图片

[root@123 111.com]# curl -x127.0.0.1:80 111.com/11.png -I
    HTTP/1.1 200 OK
    Date: Thu, 21 Dec 2017 22:42:28 GMT         //当前时间
    Server: Apache/2.4.29 (Unix) PHP/5.6.30
    Last-Modified: Thu, 21 Dec 2017 14:40:05 GMT
    ETag: "20aa-560daacfdbb40"
    Accept-Ranges: bytes
    Content-Length: 8362
    Cache-Control: max-age=86400         //缓存的时间
    Expires: Fri, 22 Dec 2017 22:42:28 GMT         //过期时间
    Content-Type: image/png
    
    [root@123 111.com]#

1.  若是将expire模块去除，再去curl命令查看图片，就无法看到Cache-Control参数

扩展   
apache日志记录代理IP以及真实客户端IP  [http://ask.apelearn.com/question/960][http_ask.apelearn.com_question_960]    
apache只记录指定URI的日志  [http://ask.apelearn.com/question/981][http_ask.apelearn.com_question_981]    
apache日志记录客户端请求的域名  [http://ask.apelearn.com/question/1037][http_ask.apelearn.com_question_1037]    
apache 日志切割问题  [http://ask.apelearn.com/question/566][http_ask.apelearn.com_question_566]

[http_www.lishiming.net_thread-561-1-1.html]: http://www.lishiming.net/thread-561-1-1.html
[http_ask.apelearn.com_question_960]: http://ask.apelearn.com/question/960
[http_ask.apelearn.com_question_981]: http://ask.apelearn.com/question/981
[http_ask.apelearn.com_question_1037]: http://ask.apelearn.com/question/1037
[http_ask.apelearn.com_question_566]: http://ask.apelearn.com/question/566