日誌分析小腳本的實現及優化擴展

一、日誌文件的位置及格式：

[root@VM_177_116_tlinux /var/log/nginx]# ls       #Nginx的訪問日誌(簡潔版)
access.log-20140401.gz  error.log-20140403.gz    access.log-20140402.gz
error.log-20140227.gz   error.log-20140404.gz    access.log-20140403.gz 
error.log-20140228.gz   error.log-20140405.gz    access.log-20140404.gz
access.log-20140319.gz  access.log-20140405.gz   access.log-20140406.gz
access.log-20140408     access.log-20140409      access.log-20140410
access.log-20140411

二、日誌的內容及需求：

[root@VM_177_116_tlinux /var/log/nginx]# vim access.log-20140409     #日誌內容信息
124.118.47.46 - - [08/Apr/2014:03:45:03 +0800] "GET **********敏感信息***********" 200 2056 "http://qzs.qzone.qq.com/open/fusion/app_redirect.htm" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"
124.118.47.46 - - [08/Apr/2014:03:45:03 +0800] "GET /js/qzone.js HTTP/1.1" 200 6705 "**********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"

  需求：查出訪問jquery.js；other.js；qzone.js；swfobject.j的IP地址並統計個數

     注意：

[root@VM_177_116_tlinux /var/log/nginx]# grep "08/Apr/2014" access.log-20140408 | head -5        #8號的日誌裏面有記錄8號凌晨的信息
110.16.12.61 - - [08/Apr/2014:00:00:03 +0800] "GET /js/other.js HTTP/1.1" 200 7250 " **********敏感信息*********** "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" "-"
180.111.38.125 - - [08/Apr/2014:00:00:06 +0800] "***********敏感信息***********"http://qzs.qzone.qq.com/open/fusion/app_redirect.htm" "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" "-"
180.112.219.107 - - [08/Apr/2014:00:00:14 +0800] "***********敏感信息***********" 200 2056 "http://qzs.qzone.qq.com/open/fusion/app_redirect.htm" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" "-"
180.112.219.107 - - [08/Apr/2014:00:00:14 +0800] "GET /js/qzone.js HTTP/1.1" 304 0 "***********敏感信息***********" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" "-"
[root@VM_177_116_tlinux /var/log/nginx]# grep "08/Apr/2014" access.log-20140409 | head -5        #9號裏面主要記錄8號白天的信息
124.118.47.46 - - [08/Apr/2014:03:45:03 +0800] "GET ***********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"
124.118.47.46 - - [08/Apr/2014:03:45:03 +0800] "GET /js/qzone.js HTTP/1.1" 200 6705 "***********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"
124.118.47.46 - - [08/Apr/2014:03:45:03 +0800] "GET /js/other.js HTTP/1.1" 200 7250 "***********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"
124.118.47.46 - - [08/Apr/2014:03:45:04 +0800] "GET /js/swfobject.js HTTP/1.1" 200 26351 "***********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"
124.118.47.46 - - [08/Apr/2014:03:45:04 +0800] "GET /js/jquery.js HTTP/1.1" 200 72174 "***********敏感信息***********" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-"

三、腳本展現：

[root@VM_177_116_tlinux /var/log/nginx]# vim log.sh
#!/bin/bash
date=$1
list="jquery.js
other.js
qzone.js
swfobject.js"
date1=$(($date+1))
for i in $list
do
        echo $((`egrep "0${date}/Apr/2014" /var/log/nginx/access.log-2014040$date|grep "$i"|awk '{print $1}'|sort -n|uniq |wc -l`+`egrep "$0{date}/Apr/2014" /var/log/nginx/access.log-2014040$date1|grep "$i"|awk '{print $1}'|sort -n|uniq |wc -l`))
done

四、初步執行結果：

[root@VM_177_116_tlinux /var/log/nginx]# ./log.sh 8
78923
71233
78295
62850

五、疑惑：

[root@VM_177_116_tlinux /var/log/nginx]# ./log.sh 9
egrep: /var/log/nginx/access.log-201404010: No such file or directory
5762
egrep: /var/log/nginx/access.log-201404010: No such file or directory
5428
egrep: /var/log/nginx/access.log-201404010: No such file or directory
8328
egrep: /var/log/nginx/access.log-201404010: No such file or directory
5369

六、解決疑惑腳本：

[root@VM_177_116_tlinux /var/log/nginx]# vim log.sh
 #!/bin/bash
date=$1
list="jquery.js
other.js
qzone.js
swfobject.js"
date1=$(($date+1))
if [[ $date =~ ^.$ ]];then
        date=0$date
        if [[ $date1 =~ ^.$ ]];then
                date1=0$date1
        fi
fi
for i in $list
do
   echo $((`egrep "${date}/Apr/2014" /var/log/nginx/access.log-201404$date|grep "$i"|awk '{print $1}'|sort -n|uniq |wc -l`+`egrep "${date}/Apr/2014" /var/log/nginx/access.log-201404$date1|grep "$i"|awk '{print $1}'|sort -n|uniq |wc -l`))
done