cat logs/baidu.access.log | awk ‘{print $(NF-1)}’ | sort | uniq -c | sort -k 1 -n -r|head -10
解释一下上面的命令,
cat logs/baidu.access.log就是输出我要统计的日志。
awk后面跟一个指令,awk ‘{print $(NF-1)}’就是打印出日志内容的第几列。$1就是第一列,$(NF)就是总列数,那么我要根据倒数第二列统计,就是$(NF-1)。
sort就是对内容进行排序,默认是自然顺序排序。
uniq指令用于排重,而是只适用于相邻两行相同的情况。所以一般结合sort使用。即先sort排序再排重。
uniq -u是只显示唯一的记录行。uniq -c是显示有重复记录的情况。
sort -k 1 -n -r这个指令,参看下面sort指令参数的详细说明
sort选项与参数:
-f :忽略大小写的差异,例如 A 与 a 视为编码相同;
-b :忽略最前面的空格符部分;
-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;
-n :使用『纯数字』进行排序(默认是以文字型态来排序的);
-r :反向排序;
-u :就是 uniq ,相同的数据中,仅出现一行代表;
-t :分隔符,默认是用 [tab] 键来分隔;
-k :以哪个区间 (field) 来进行排序的意思
所以 sort -k 1 -n -r 指令的意思就是对第一列按照纯数字逆序排序。
这个纯数字是哪里来的呢?是uniq -c来的,原来剩下一列就是IP了,当执行uniq -c指令时,它会统计重复记录的次数并把这次数显示在第一列。所以现在有两列了,第一列是重复次数,第二列是IP。所以这里是按照重复次数排序。
head -10,显示前10行。
同理,如果你要统计URL的访问情况就awk url那一列就行了。
有一个文件ip.txt,每行一条ip记录,共若干行,哪个命令可以实现“统计出现次数最多的前3个ip及其次数”?
sort ip.txt | uniq -c | sort -rn | head -n 3
首先sort进行排序,将重复的行都排在了一起,然后使用uniq -c将重复的行的次数放在了行首,在用sort -rn进行反向和纯文本排序,这样就按照重复次数从高到低进行了排列,最后利用head -n 3 输出行首的三行。
本文出自:https://blog.csdn.net/snowyuuu/article/details/82019831
Be First to Comment