awk统计日志中出现过的IP(或出现次数最多的N个IP)

梦里梦外; 2022-10-06 05:53 156阅读 0赞

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk的用法

awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

第一步：运行BEGIN\{ commands \}语句块中的语句。

第二步：从文件或标准输入(stdin)读取一行。然后运行pattern\{ commands \}语句块，它逐行扫描文件，从第一行到最后一行反复这个过程。直到文件所有被读取完成。

第三步：当读至输入流末尾时，运行END\{ commands \}语句块。

BEGIN语句块在awk開始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中。

END语句块在awk从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END语句块中完毕，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供pattern语句块，则默认运行\{ print \}，即打印每个读取到的行。awk读取的每一行都会运行该语句块。

这三个部分缺少任何一部分都可以。

可用awk来统计固定格式日志里的一些数据，如日志中出现过所有不同的IP

awk ‘\{i=$1;count\[i\]++\}END\{for(i in count)print(i,count\[i\])\}’ /var/log/httpd/access\_log  
awk对文件进行流处理，每次读取一行。$1就是IP，count\[i\]++是将IP作为一个数组的下标，并且使得统计这个IP所对应的数组元素自增1.END后面的语句是打印结果，只执行一次。

也可以用来找出访问次数最多的ip。

awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail -n 10 #用tail显示最后10行

首先用awk统计出来一个列表，然后用sort进行排序，最后用tail取最后的10个。

以上参数可以略作修改显示更多的数据，比如将tail加上-n参数等，另外日志格式不同命令也可能需要稍作修改。

当前WEB服务器中联接次数最多的ip地址

netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr

查看日志中访问次数最多的前10个IP

cat access_log |cut -d ' ' -f 1 | sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 | less

查看日志中出现100次以上的IP

cat access_log |cut -d ' ' -f 1 | sort |uniq -c | awk '{if ($1 > 100) print $0}'｜sort -nr | less

查看最近访问量最高的文件

cat access_log | tail -10000 | awk '{print $7}' | sort | uniq -c | sort -nr | less

查看日志中访问超过100次的页面

cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

统计某url，一天的访问次数

cat access_log | grep '12/Aug/2009' | grep '/images/index/e1.gif' | wc | awk '{print $1}'

前五天的访问次数最多的网页

cat access_log | awk '{print $7}' | uniq -c | sort -n -r | head -20

从日志里查看该ip在干嘛

cat access_log | grep 218.66.36.119 | awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less

列出传输时间超过 30 秒的文件

cat access_log | awk '($NF > 30){print $7}' | sort -n | uniq -c | sort -nr | head -20

列出最最耗时的页面(超过60秒的)

cat access_log | awk '($NF > 60 && $7~/\.php/){print $7}' | sort -n | uniq -c | sort -nr | head -100

发表评论取消回复

表情：

评论列表（有 0 条评论，156人围观）

还没有评论，来说两句吧...

相关阅读

相关海量日志提取访问次数最多的ＩＰ

方法: 计数法假设一天之内某个IP访问百度的次数不超过40亿次,则访问次数可以用unsigned表示.用数组统计出每个IP地址出现的次数, 即可得到访问次数最大的IP地址.

以你之姓@/ 2024年02月19日 18:52/ 0 赞/ 60 阅读

相关判断一个字符串中出现的次数最多的字符，统计这个次数

var str = 'abcdefghimnostuvwistuvwsyzabcdeft'; var json = {}; for(var i = 0;

ゝ一世哀愁。/ 2023年08月17日 15:24/ 0 赞/ 118 阅读

相关统计字符串中出现次数最多的字符以及其出现的次数

include <stdio.h> include <string.h> include <stdlib.h> define N 11

小咪咪/ 2022年12月11日 13:36/ 0 赞/ 270 阅读

相关 awk统计日志中出现过的IP(或出现次数最多的N个IP)

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行

梦里梦外;/ 2022年10月06日 05:53/ 0 赞/ 157 阅读

相关统计出现次数最多的数

问题描述: 给定n个正整数,找出他们中出现次数最多的数,如果这样的数有多个，请输出其中最小的一个数: 样例: 6(数列长度) 10 1 10 20 30 20(数列)

柔情只为你懂/ 2022年07月15日 02:40/ 0 赞/ 234 阅读

相关从一亿个ip找出出现次数最多的IP(分治法)

/\ 1,hash散列 2,找到每个块出现次数最多的(默认出现均匀)—–>可以用字典树 3,在每个块出现最多的数据中挑选出最大的为结果 \/ 问题一：怎

╰+攻爆jí腚メ/ 2022年05月24日 05:12/ 0 赞/ 163 阅读

相关 mysql 统计表中多个字段只出现的次数

举例说明：统计user表中的手机号（u\_phone）个用户名（u\_name）出现的次数（保证用户名跟手机号的唯一性不允许重复）附上结构： ![70][] 从上表

秒速五厘米/ 2022年05月08日 07:58/ 0 赞/ 276 阅读

相关在100G文件中找出出现次数最多的100个IP，要求ip和次数都精确

1. 刚开始自己想的是文件分100个桶，桶里取排序前1000，后来手动证明此算法有误 2.后来想到可以另外取100个文件桶，将ip存到(ip) % 100的桶里。最后对各个文

﹏ヽ暗。殇╰゛Y/ 2022年02月19日 15:29/ 0 赞/ 170 阅读

相关利用shell脚本统计文件中出现次数最多的IP

比如有如下文件test.txt 1 134.102.173.43 2 134.102.173.43 3 134.102.171.42 4 134.102.170

冷不防/ 2021年12月22日 11:29/ 0 赞/ 426 阅读

相关数组中出现次数最多的数和出现的次数

楼主朋友去某公司面试，遇到了下面这个面试题，本来楼主朋友就有解决方案，奈何面试官难为人。。。题目：找出数组中出现次数最多的数和出现次数？不能使用循环！不能使用循环！不能使

绝地灬酷狼/ 2021年09月18日 11:44/ 0 赞/ 415 阅读