五分钟上手 Nginx输出JSON格式日志，较为全面的 Nginx 日志解析！

快来打我* 2024-04-17 05:43 1阅读 0赞

关键字：json，nginx，日志，nginx日志，日志配置  
为什么要针对配置 Nginx 日志？

**优点：**  
在使用nginx进行服务器管理时候，日志对于统计、审查、排错来说非常有利，通过日志能更准确的定位信息，快速解决问题！

**缺点：**  
配置后的日志可能较为复杂，而且日志文件的体积会比常规日志的要大，更占据空间；需要对日志文件进行切割，一段时间后需要清理无用的日志文件

#### 一、常规日志 ####

nginx常规日志配置：

日志配置存放的位置：
    日志设置可存在 http 中，也可存在 server 虚拟主机中
    
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
                      
    access_log  /var/log/nginx/access.log;	  #常规日志
    error_log /var/log/nginx/error.log error; #错误日志

Nginx 日志默认为普通文本的格式，例如，下面是 Nginx 的一行访问日志：

# tail -n 10 access.log 
    192.168.10.1 - - [23/Aug/2019:15:29:57 +0800] "GET /www/%E6%89%8B%E5%8A%A8%E9%98%80%E5%8D%81%E5%88%86 HTTP/1.1" 404 555 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:03 +0800] "GET /www/ HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:03 +0800] "GET /www/text.png HTTP/1.1" 404 555 "http://deng.rosen.cn/www/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:03 +0800] "GET /www/ HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:03 +0800] "GET /www/text.png HTTP/1.1" 404 555 "http://deng.rosen.cn/www/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:04 +0800] "GET /www/ HTTP/1.1" 200 755 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:04 +0800] "GET /www/text.png HTTP/1.1" 404 555 "http://deng.rosen.cn/www/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:08 +0800] "GET / HTTP/1.1" 200 63 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:09 +0800] "GET / HTTP/1.1" 200 36 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    192.168.10.1 - - [23/Aug/2019:15:30:09 +0800] "GET / HTTP/1.1" 200 63 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"

#### 二、Json格式日志（常规日志参数也存在下面解析中） ####

设置为Json格式（配置重启Nginx可观察）：

日志配置存放的位置：
    日志设置可存在 http 中，也可存在 server 虚拟主机中
    
    log_format log_json escape=json '{"@timestamp":"$time_iso8601",'    #通用日志格式下的本地时间，也可使用“$time_iso8601”标准格式下的本地时间
            '"server_addr":"$server_addr",'     #访问服务器的IP
            '"remote_addr":"$remote_addr",'     #客户端请求的IP
            '"host":"$host",'                   #请求的域名
            '"uri":"$uri",'                     #请求的URL
            '"body_bytes_sent":$body_bytes_sent,'   #发送给客户端的字节数，发送给客户端的字节数，也可选择 $bytes_sent 发送给客户端的总字节数
            '"upstream_response_time":$upstream_response_timer,'    #上游请求时间
            '"request":"$request",'             #记录请求的URL和HTTP协议
            '"request_length":$request_length,' #字节的长度
            '"request_time":$request_time,'     #请求处理时间
            '"status":"$status",'               #返回的状态
            '"http_referer":"$http_referer",'   #记录从哪个页面链接访问过来的
            '"http_x_forwarded_for":"$http_x_forwarded_for",'       #（反向）记录客户端IP地址,也可以用 $remote_addr
            '"http_user_agent":"$http_user_agent"'  #记录客户端浏览器相关信息
            '}';
    access_log  /var/log/nginx/access.log  json_main;	 #json_main 格式日志
    error_log /var/log/nginx/error.log error;			 #错误日志

为了便于利用 ELK 日志平台收集展示 Nginx 的日志，可以将 Nginx 的日志改成 json 的格式。修改后的 json 日志格式如下所示：

[root@localhost ~]# tail -n 10 /var/log/nginx/access.log | jq
    {
      "@timestamp": "2020-07-24T01:16:50-04:00",
      "server_addr": "22.9.13.8",
      "remote_addr": "162.58.79.15",
      "host": "aaaa.com",
      "uri": "/p__ieist.2d3e74.asnc.js",
      "body_bytes_sent": 0,
      "upstream_response_time": 0,
      "request": "GET /p__ieist.2d3e74.asnc.js HTTP/1.1",
      "request_length": 970,
      "request_time": 0,
      "status": "304",
      "http_referer": "https://aaaa.com/tags",
      "http_x_forwarded_for": "2409:8914:c200:3482:75b8:8de3:e63d:a06a",
      "http_user_agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/609.2.9 (KHTML, like Gecko) Mobile/17F80 QHBrowser/317 QihooBrowser/4.0.10"
    }

#### 三、nginx 配置 Json格式，可直引用！ ####

http {
        	map $upstream_response_time $upstream_response_timer {
            default $upstream_response_time;
            ""        0;
        }
        log_format log_json escape=json '{"@timestamp":"$time_iso8601",'
                    '"server_addr":"$server_addr",'
                    '"remote_addr":"$remote_addr",'
                    '"host":"$host",'
                    '"uri":"$uri",'
                    '"body_bytes_sent":$body_bytes_sent,'
                    '"upstream_response_time":$upstream_response_timer,'
                    '"request":"$request",'
                    '"request_length":$request_length,'
                    '"request_time":$request_time,'
                    '"status":"$status",'
                    '"http_referer":"$http_referer",'
                    '"http_x_forwarded_for":"$http_x_forwarded_for",'
                    '"http_user_agent":"$http_user_agent"'
                    '}';
            access_log  /var/log/nginx/access.log  log_json;
            error_log /var/log/nginx/error.log error;
            ......
    }

修改 Nginx 的配置，重启 Nginx ，便可以看到 json 格式的日志，重启 Nginx：