awk和sed截取nginx和tomcat時間段日誌

nginx日誌截取示例

日誌路徑：/usr/local/nginx/logs, 截取access.log中2019年3月24日17點00~02之間的日誌：
　寫法1：

cat access.log | awk '$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"'

　寫法2：

cat access.log | egrep "24/Mar/2019" | awk -F':' '$2 = 17 && $3 >= 00 && $3 <= 02'

　寫法3：

cat access.log |egrep "24/Mar/2019" |sed -n '/17:00:00/,/17:02:00/p'

tomcat日誌截取示例

日誌路徑：/usr/local/tomcat/logs, 截取catalina.out中2019年3月24日17點00~02之間的日誌：
寫法1：

sed -n '/2019-03-24 17:00:/,/2019-03-24 17:02:/p'  catalina.out

寫法2：

cat catalina.out| egrep "2019-03-24" | awk -F':' '$2 = 17 && $3 >= 00 && $3 <= 02'

awk統計nginx日誌的ip訪問量

nginx日誌事先截取一部分：tail -n500 access.log >access.log1

第一種：使用awk sort，$1表示以空格爲分割符的第一列，也就是文件中的ip地址，使用sort對結果排序，uniq -c進行計數，最後sort -n是以「數字」來排序，針對統計後的訪問次數來排序

awk '{print $1}' access.log1|sort |uniq -c|sort -n

第二種：awk for,即數組; 默認變量爲0，對每一行的$1做爲key，count數組++，實現ip的計數。計數結束後END。而後把結果打印出來，最後sort -n以「數字」排序。

awk '{count[$1]++;}END{for(i in count){printf("%s\t%s\n", count[i], i);}}' access.log1|sort -n

取nginx日誌訪問接口次數

經過上面的方法將某個時間段日誌取出來，查詢該時間段訪問接口最多的前10：

#!/bin/bash
 #統計接口的訪問次數
 TODAY=`date +%d/%b/%Y`
 cat $1 |awk -F '"' '{print $2}'|awk '{split($2,res,"?") ; print res[1] }'|sort|uniq -c|sort -gr |head -n10