python標準日誌模塊logging及日誌系統設計

　　最近寫一個爬蟲系統，須要用到python的日誌記錄模塊，因而便學習了一下。

　　python的標準庫裏的日誌系統從Python2.3開始支持。只要import logging這個模塊便可使用。若是你想開發一個日誌系統， 既要把日誌輸出到控制檯， 還要寫入日誌文件，只要這樣使用：

 1 import logging
 2 
 3 # 建立一個logger
 4 logger = logging.getLogger('mylogger')
 5 logger.setLevel(logging.DEBUG)
 6 
 7 # 建立一個handler，用於寫入日誌文件
 8 fh = logging.FileHandler('test.log')
 9 fh.setLevel(logging.DEBUG)
10 
11 # 再建立一個handler，用於輸出到控制檯
12 ch = logging.StreamHandler()
13 ch.setLevel(logging.DEBUG)
14 
15 # 定義handler的輸出格式
16 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
17 fh.setFormatter(formatter)
18 ch.setFormatter(formatter)
19 
20 # 給logger添加handler
21 logger.addHandler(fh)
22 logger.addHandler(ch)
23 
24 # 記錄一條日誌
25 logger.info('foorbar')

　　結合上面的例子，咱們說下幾個最常使用的API：

　　logging.getLogger([name])

　　返回一個logger實例，若是沒有指定name，返回root logger。只要name相同，返回的logger實例都是同一個並且只有一個，即name和logger實例是一一對應的。這意味着，無需把logger實例在各個模塊中傳遞。只要知道name，就能獲得同一個logger實例。

　　Logger.setLevel(lvl)

　　設置logger的level， level有如下幾個級別：

　　　　

　　級別高低順序：NOTSET < DEBUG < INFO < WARNING < ERROR < CRITICAL

　　若是把looger的級別設置爲INFO， 那麼小於INFO級別的日誌都不輸出， 大於等於INFO級別的日誌都輸出　　

1     logger.debug("foobar")    # 不輸出   
2     logger.info("foobar")        # 輸出  
3     logger.warning("foobar")  # 輸出  
4     logger.error("foobar")      # 輸出  
5     logger.critical("foobar")    # 輸出  

　　Logger.addHandler(hdlr)

　　經過handler對象能夠把日誌內容寫到不一樣的地方。好比簡單的StreamHandler就是把日誌寫到相似文件的地方。python提供了十幾種實用handler，比較經常使用有：

1 StreamHandler: 輸出到控制檯
2 FileHandler:   輸出到文件
3 BaseRotatingHandler 能夠按時間寫入到不一樣的日誌中。好比將日誌按天寫入不一樣的日期結尾的文件文件。
4 SocketHandler 用TCP網絡鏈接寫LOG
5 DatagramHandler 用UDP網絡鏈接寫LOG
6 SMTPHandler 把LOG寫成EMAIL郵寄出去

　　logging.basicConfig([**kwargs])* 這個函數用來配置root logger， 爲root logger建立一個StreamHandler，設置默認的格式。* 這些函數： logging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical() 若是調用的時候發現root logger沒有任何handler，會自動調用basicConfig添加一個handler* 若是root logger已有handler，這個函數不作任何事情使用basicConfig來配置root logger的輸出格式和level：

1 import logging
2 logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.DEBUG)
3 logging.debug('This message should appear on the console')

 

　　logger對象直接提供日誌接口。formatter描述日誌的格式。handler把日誌寫到不一樣的地方，你能夠把日誌保存成本地文件，也能夠每一個小時寫一個日誌文件，還能夠把日誌經過socket傳到別的機器上。

　　從最簡單的formatter對象來看。formatter指定的是每一條日誌記錄的擡頭信息，也就是你能夠指定日誌記錄的時間格式、進程號、文件名、函數名等信息。能夠用這個方法來建立一個formatter對象：

logging.Formatter.__init__( fmt=None, datefmt=None)

　　fmt參數指定進程號、文件名、函數名等信息是否出現以及格式， datefmt爲日期時間格式，默認的日期格式精確到微秒，例如‘2003-07-08 16:49:45,896’。fmt中能夠指定多個字段，每一個字段的格式爲「%(<dictionary key>)s」， 例如你想打印時間、日誌級別、日誌信息能夠用下面的format:

'%(asctime)s - %(levelname)s - %(message)s'

　　全部的可使用的字段以下表：

　　在記錄爬蟲系統日誌的時候須要定義記錄日誌的級別，級別越高表示打出來的日誌越詳細。咱們能夠用一個字典來設置不一樣級別對應的不一樣日誌信息：

1 #用字典保存日誌級別
2 format_dict = {
3    1 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
4    2 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
5    3 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
6    4 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s'),
7    5 : logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
8 }

　　將本文開始的代碼封裝在一個類中

 1 #開發一個日誌系統， 既要把日誌輸出到控制檯， 還要寫入日誌文件   
 2 class Logger():
 3     def __init__(self, logname, loglevel, logger):
 4         '''
 5            指定保存日誌的文件路徑，日誌級別，以及調用文件
 6            將日誌存入到指定的文件中
 7         '''
 8         
 9         # 建立一個logger
10         self.logger = logging.getLogger(logger)
11         self.logger.setLevel(logging.DEBUG)
12         
13         # 建立一個handler，用於寫入日誌文件
14         fh = logging.FileHandler(logname)
15         fh.setLevel(logging.DEBUG)
16         
17         # 再建立一個handler，用於輸出到控制檯
18         ch = logging.StreamHandler()
19         ch.setLevel(logging.DEBUG)
20         
21         # 定義handler的輸出格式
22         #formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
23         formatter = format_dict[int(loglevel)]
24         fh.setFormatter(formatter)
25         ch.setFormatter(formatter)
26         
27         # 給logger添加handler
28         self.logger.addHandler(fh)
29         self.logger.addHandler(ch)
30         
31     
32     def getlog(self):
33         return self.logger

再經過如下方式調用，即是一個簡單的日誌系統了

logger = Logger(logname='log.txt', loglevel=1, logger="fox").getlog()