使用Python解析nginx日誌文件

項目的一個需求是解析nginx的日誌文件。
簡單的整理以下：

---

日誌規則描述

首先要明確本身的Nginx的日誌格式，這裏採用默認Nginx日誌格式：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                   '$status $body_bytes_sent "$http_referer" '
                   '"$http_user_agent" "$http_x_forwarded_for"';

其中一條真實記錄樣例以下：

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

其中，客戶端型號信息用XXXXXXX代替。

項目中已經按照業務規則對Nginx日誌文件進行了處理命名規則以下：

ID-ID-YYMMDD-hhmmss

而且全部的日誌文件存放在統一路徑下。

解決思路

---

獲取全部日誌文件path

這裏使用Python的glob模塊來獲取日誌文件path

import glob


def readfile(path):
    return glob.glob(path + '*-*-*-*')

獲取日誌文件中每一行的內容

使用Python的linecache模塊來獲取文件行的內容

import linecache


def readline(path):
    return linecache.getlines(path)

注意：linecache模塊使用了緩存，因此存在如下問題：

1. 在使用linecache模塊讀取文件內容之後，若是文件發生了變化，那麼須要使用linecache.updatecache(filename)來更新緩存，以獲取最新變化。

2. linecache模塊使用緩存，因此會耗費內存，耗費量與要解析的文件相關。最好在使用完畢後執行linecache.clearcache()清空一下緩存。

固然，做爲優化，這裏能夠利用生成器來進行優化。暫且按下不表。

處理日誌條目

一條日誌信息就是一個特定格式的字符串，所以使用正則表達式來解析，這裏使用Python的re模塊。
下面，一條一條創建規則：

規則

ip = r"?P<ip>[\d.]*"
    date = r"?P<date>\d+"
    month = r"?P<month>\w+"
    year = r"?P<year>\d+"
    log_time = r"?P<time>\S+"
    method = r"?P<method>\S+"
    request = r"?P<request>\S+"
    status = r"?P<status>\d+"
    bodyBytesSent = r"?P<bodyBytesSent>\d+"
    refer = r"""?P<refer>
             [^\"]*
             """
    userAgent=r"""?P<userAgent>
                .*
               """

解析

p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\ \"(%s)\"\ \"(%s).*?\"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)

這樣，就能夠獲得日誌條目中各個要素的原始數據。

---

格式及內容轉化

獲得日誌原始數據以後，須要根據業務要求，對原始數據進行格式及內容轉化。
這裏須要處理的內容包括：時間，request，userAgent

時間格式轉化

在日誌信息原始數據中存在Dec這樣的信息，利用Python的time模塊能夠方便的進行解析

import time


def parsetime(date, month, year, log_time):
    time_str = '%s%s%s %s' %(year, month, date, log_time)
    return time.strptime(time_str, '%Y%b%d %H:%M:%S')

解析request

在日誌信息原始數據中獲得的request的內容格式爲：

/report?XXXXXX

這裏只須要根據協議取出XXXXXX便可。
這裏仍然採用Python的re模塊

import re


def parserequest(rqst):
    param = r"?P<param>.*"
    p = re.compile(r"/report\?(%s)" %param, re.VERBOSE)
    return re.findall(p, rqst)

接下來須要根據業務協議解析參數內容。這裏須要先利用base64模塊解碼，而後再利用struct模塊解構內容：

import struct
import base64


def parseparam(param):
    decodeinfo = base64.b64decode(param)
    s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')
    return s.unpack(decodeinfo)

解析userAgent

在日誌信息原始數據中userAgent數據的格式爲：

XXX; XXX; XXX; XXX

根據業務要求，只須要取出最後一項便可。
這裏採用re模塊來解析。

import re


def parseuseragent(useragent):
    agent = r"?P<agent>.*"
    p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
    return re.findall(p, useragent)

---

至此，nginx日誌文件解析基本完成。 剩下的工做就是根據業務須要，對得到的基本信息進行處理。 （完）