用SED+AWK來分析NGINX日誌！

  前幾天寫了篇文章是用AWK 來過濾NGINX 日誌裏面的特定值，可是光過濾出來了不行，還得要用啊，開發同事給我提出了新要求。讓我統計 9:30~13:30 和13：30~17:30的這兩個時間段每一個小時的動態請求數，還有上面兩個時間段裏的 「 action=xxxxx」這個值的 種類和每種 action的數量~~~ ，要求還真很多！
 
 提及來複雜其實作起來挺簡單的，只要理清思路就行了！讓咱們先來解決第一個問題，每小時的動態請求數，我再看下NGINX日誌的格式
  118.203.20.3 - - [16/Jan/2010:05:00:01 +0800] "POST /design/game.php HTTP/1.1" "check=085af328d69bd499fe47c4f484ea5dfb&cid=0&cuid=419884&oid=4&timestamp=1263589204&action=researchOre" 200 277 "http://www.ime.com/design/flash/main.swf?v=430/`DYNAMIC`/1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727)" -
 由於咱們的動態請求都是經過php來完成的，因此我只要過濾出包含 .php的行就能夠了，時間段的選取能夠交給 SED 來作，數量統計用 uniq -c ，好了開工吧！
  sed -n "/2010:13:30:00/,/2010:17:30:00/"p access_2010011605.log | awk -F: '/'.'php/{print $2}' |uniq -c
 168576 13
 301975 14
 285616 15
 299248 16
 154377 17
 由於日誌比較大，因此時間稍微長了點，不過目的達到了，至於9:30~13:30直接改上面的時間就行了，在這裏感謝下 給我提供幫助的三門同窗；
 下面咱們再看看 09:30~13:30這段時間的 每種 action 的總和。
格式過濾出action 的方法上一篇文章《 用AWK來過濾nginx日誌中的特定值》已經寫好了，生成文件的格式爲
  202.113.30.144        25/Jan/2010:13:42:07        cuid=181188    action=compound   
124.227.66.162        25/Jan/2010:13:42:07        cuid=355287    action=plantInfo   
124.240.39.49        25/Jan/2010:13:42:07        action=researchLayer    cuid=496990   
121.236.118.126        25/Jan/2010:13:42:07        cuid=509590    action=oreInfo  

  咱們就根據這個格式來統計，上面我已經生成好了這個文件名字叫 action.new
sed -n "/2010:09:30:00/,/2010:13:30:00/"p action.new |awk '{if($3~/^action/){print $3} else if($4~/^action/){print $4}}' |sort |uniq -c |sort -nr
 533271 action=plInfo
 132742 action=FriendPet
 101258 action=Info
  98091 action=oInfo
  84749 action=wInfo
  71751 action=Result
  71558 action=Quest
  63471 action=cQuest
  60886 action=qInfo
  58112 action=bag
  .....略
  在這裏感謝下小I 同窗的幫助好了，把這幾個結果交給開發的同事讓他們去分析了。呵呵，但願這篇文章對朋友們有幫助~~~ O(∩_∩)O~