用70行代碼實現日誌分析程序-python

python又一力做，感覺python的強大。用70行代碼實現日誌分析程序

功能介紹：可直接對文本日至進行分組和排序功能，完了輸出結果粘貼到excel裏就能夠直接生成圖表，對於排查一些生產環境問題有很大的做用。

原創在這裏：http://www.pythontab.com/html/2013/pythonhexinbiancheng_0111/119.html

#encoding=utf-8
from optparse import OptionParser
import re
  
def get_args():
    def get_parser():
        usage = u"""%prog -f filename -r rule [-d] [-c]
用途：對文本文件按照指定模式進行分組並排序,主要分析文本日誌用
注意：若是正則表達式裏有分組，則提取第一分組，
      若是不但願這樣，請使用正則的無捕獲分組(?:)
示例：統計日誌裏每分鐘的日誌量，默認按時間正序排列
      python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d"
      統計日誌裏每一個ip出現的次數，並按出現次數倒序排列
      python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d"""
        return OptionParser(usage)
  
    def add_option(parser):
        parser.add_option("-f", "--file", dest="filename",
           help=u"須要分組的文本文件", metavar="FILE")
        parser.add_option("-r", "--rule", dest="rule",
           help=u"分組的正則表達式", metavar="REGEX")
        parser.add_option("-d", action="store_true",
            dest="reverse", default=False, help=u"反序排列")
        parser.add_option("-c", action="store_true",
            dest="orderbycount", default=False,
            help=u"按數量排序,默認按匹配字符串排序")
  
    def get_options(parser):
        options, args = parser.parse_args()
        if not options.filename:
            parser.error('沒有指定文件名')
        if not options.rule:
            parser.error('沒有指定分組規則')
        return options
  
    parser = get_parser()
    add_option(parser)
    return get_options(parser)
  
options      = get_args()
filename     = options.filename
rule         = options.rule
reverse      = options.reverse
orderbycount = options.orderbycount
regex        = re.compile(rule, re.IGNORECASE)
keys         = {}
  
def counter_key(key):
    keys.setdefault(key, 0)
    keys[key] += 1
  
def print_keys():
    sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0])
    temp_items = sorted(keys.items(), key=sort_key, reverse=reverse)
    for item in temp_items:
        key = item[0]
        print key, keys[key]
  
def get_key(line):
    m = regex.search(line)
    if m:
        return m.group() if regex.groups == 0 else m.group(1)
    return '!NotMatch!'

#這是程序的入口
with open(filename) as f:
    for line in f:
        #一行一行處理日誌信息
        key = get_key(line)
        counter_key(key)
  
print_keys()

知識點：

OptionParser

這個庫是用來解析python的路徑描述符的。

用法：

python logAnalyse.py -f  /app/flume/logs/1453801816230-45 -r "\d+\.\d+.\d+.\d+" -c -d

能夠按照每行中符合的ip地址，打印出來。