用 awk 和 goaccess 分析nginx accesslog

柔光的暖阳◎ 2022-05-08 06:03 308阅读 0赞

## awk 方式 ##

本文主要用这种方式实现 统计 `access.log` 超过 1s 的记录。  
思路：先用 `awk` 将每天切割的 `nginx` 日志生成自定义的分析结果文件 ,由 python 脚本处理，导入`mysql` :记录`日期`，`慢Url 路径`，`慢Url 最短时间`，`最差时间`，`访问次数` ,`是否修复` ，`修复日期`等，最后由前端进行展示。

#### 按天切割 Nginx 日志 ####

这里为了每天夜里只分析当天生成的nginx日志，我们可以把nginx按天切割备份。日常环境中，我们也可以使用这种方法，按天、按月、按年lai 备份和切割日志，方便后期进行数据过滤或删除。

#/bin/bash
    nginxLog="/usr/local/nginx/logs/access.log"
    logBakFile="/usr/local/nginx/logs/"$(date "+%F")/"access.log"
    
    if [ ! -d ${logBakFile%/*} ]
    then
        mkdir -p ${logBakFile%/*}
    fi
    mv $nginxLog $logBakFile 2>&1 >/dev/null
    kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`

#切割nginx日志
    59 23 * * * bash /root/auto-sh/nginxErrLog_logrotate.sh
    59 22 * * * bash /root/auto-sh/nginxAccLog_logrotate.sh

这样，我们就得到了，这样的Nginx切割的日志  
![在这里插入图片描述][70]

[root@macco-web 2018-10-08]# ls
    access.log  error.log

这里我们对 `access.log` 进行处理

附上 `nginx.conf` 日志格式部分的配置：

log_format main "$remote_addr  $http_x_readtime [$time_local] \
    "$request_method http://$host$request_uri\" $status $body_bytes_sent \"$http_referer\" \"$upstream_addr\" \
    "$http_user_agent\" \"$upstream_response_time\" \"$request_time\" ";

`Awk` 脚本

#分析nginx日志 需要去除 每天备份的log“” 存储到1.txt
    cat access.log| awk '{print $(NF)}' | awk -F "\"" '{print $2}'>1.txt
    #将 1.txt的结果拼接到 access.log 存放到log.txt
    paste -d " "  access.log  1.txt > log.txt
    # 从 log.txt 选取想要分析的参数存放到最终的文件中，限制选取 $request_time >1 的
    cat log.txt |awk '($NF>1 ){print $3 " " $5 " " $6 " " $11 " " $NF}'>/public/nginxStatic.txt

访问 `nginxStatic.txt` 的结果：可以看到有我们选取的 `http_x_readtime`，`$request_method`，`$request_uri`，`$http_user_agent`, `$request_time`。  
![在这里插入图片描述][70 1]

最后用 `python`，将数据处理分析之后存储到mysql。  
附上思路代码：

import MySQLdb as mdb from tqdm import tqdm # 统计 access.log 超过 1S 的记录 # AWK 将每天的nginx日志 产生log ,由本脚本 导入sql,记录 # 日期，慢Url 路径，慢Url 最短时间，最差时间，访问次数 ,是否修复 ，修复日期 # 前端进行展示 # 定义日志文件路径 log_file_path = "/statics/nginxStatic.txt" # 按行读取日志，过滤分析 存入mysql f = open(log_file_path) lines = f.readlines() for line in tqdm(lines): # 用 " " 切分单行数据 tmp_list = line.split(" ") api_time = tmp_list[0].replace("[","") api_method = tmp_list[1].replace("\"","") api_url = tmp_list[2].replace("\"","") api_ua = tmp_list[3].replace("\"","") api_request_time = tmp_list[4].replace("\n","") # print(api_request_time) # sys.exit(0) is_fix = get_nginx_log(api_url) if is_fix: # 更新log的频率 ，更新sl_time id = is_fix[0][0] s_time = is_fix[0][1] l_time = is_fix[0][2] if api_request_time > s_time and api_request_time < l_time: update_nginx_log(id,1,api_request_time) elif api_request_time < s_time: update_nginx_log(id,2,api_request_time) elif api_request_time > l_time: update_nginx_log(id, 3, api_request_time) else: insert_nginx_log(api_time, api_url, api_ua, api_request_time,api_method)

数据表的表结构：

CREATE TABLE `nginxlog` (
      `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT 'log自增ID',
      `url` varchar(256) NOT NULL DEFAULT '',
      `method` varchar(20) DEFAULT NULL COMMENT '调用方法',
      `ua` varchar(128) DEFAULT NULL COMMENT 'user_agent',
      `short_time` decimal(5,2) DEFAULT '0.00' COMMENT '最短时间',
      `long_time` decimal(5,2) DEFAULT '0.00' COMMENT '最长时间',
      `is_fix` tinyint(1) unsigned DEFAULT '0' COMMENT '0未修复',
      `number` int(11) DEFAULT '1' COMMENT '访问次数',
      `create_time` varchar(128) DEFAULT '',
      `fix_time` timestamp NULL DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8mb4;

跑完之后的数据，可以很方便的给前端进行数据调用和展现了  
![在这里插入图片描述][70 2]

## goaccess ##

#安装（或源码安装）
    apt-get install goaccess
    
    $ goaccess -h
    # 常用参数
    -a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项
    -d --with-output-resolver 在HTML/JSON输出中开启IP解析，会使用GeoIP来进行IP解析
    -f --log-file 需要分析的日志文件路径
    -p --config-file 配置文件路径
    -o --output 输出格式，支持html、json、csv
    -m --with-mouse 控制面板支持鼠标点击
    -q --no-query-string 忽略请求的参数部分
    --real-time-html 实时生成HTML报告
    --daemonize 守护进程模式，--real-time-html时使用
    
    # 生成可视化html报告
    goaccess -f /usr/local/nginx/logs/access.log -a > /public/report.html

生成的报告页面预览如下：能看到各种状态码的访问次数，日PV，UV等等详细信息。  
![在这里插入图片描述][70 3]

这种方案还是比较简单省事的，一步就解决了上面所有的步骤 ，不过我还是选择上面的方案 ，虽然麻烦，但是有操作感，也能细节到每一步的自定义。

[70]: /images/20220508/582a2c0a72b248d5b245beedee0637e1.png
[70 1]: /images/20220508/3444c0932efd49a59fa369626b9a43e7.png
[70 2]: /images/20220508/c36b0abe8876441a92bb584ec88deb66.png
[70 3]: /images/20220508/7acb0974688a4556a56830e1e77623c5.png