Pyhon 日誌管理 -- logging

Pyhon 日誌管理 -- logging

一直以爲運行程序是能打印日誌是一個神奇的事情，不懂日誌產生的原理，後來據說Pyhton 有一個logging模塊，So，要好好研究一下。

先貼出代碼，看看她的基本用法

#-*-coding:utf-8-*-
# Time:2017/9/27 10:44
# Author:YangYangJun


import logging
import sys
import os

import time,datetime

# 獲取logger實例，若是參數爲空則返回root logger
logger = logging.getLogger()

# 指定logger輸出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')

# 文件日誌
file_handler = logging.FileHandler("test.log")
file_handler.setFormatter(formatter)  # 能夠經過setFormatter指定輸出格式

# 控制檯日誌
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter  # 也能夠直接給formatter賦值

# 爲logger添加的日誌處理器
logger.addHandler(file_handler)
logger.addHandler(console_handler)

# 指定日誌的最低輸出級別，默認爲WARN級別
logger.setLevel(logging.INFO)

# 輸出不一樣級別的log
logger.debug('this is debug info')
logger.info('this is information')
logger.warn('this is warning message')
logger.error('this is error message')
logger.fatal('this is fatal message, it is same as logger.critical')
logger.critical('this is critical message')

# 2016-10-08 21:59:19,493 INFO    : this is information
# 2016-10-08 21:59:19,493 WARNING : this is warning message
# 2016-10-08 21:59:19,493 ERROR   : this is error message
# 2016-10-08 21:59:19,493 CRITICAL: this is fatal message, it is same as logger.critical
# 2016-10-08 21:59:19,493 CRITICAL: this is critical message

# 移除一些日誌處理器
logger.removeHandler(file_handler)


filepath = os.path.join(os.path.dirname(__file__),'logging.conf')

print filepath  # D:/WorkSpace/Python/Study/Selenium/PyLog\logging.conf

currentPath = os.path.join(os.getcwd(),'filename')
print currentPath  # D:\WorkSpace\Python\Study\Selenium\PyLog\filename

print __file__   # D:/WorkSpace/Python/Study/Selenium/PyLog/logDemo.py

print os.getcwd()  # D:\WorkSpace\Python\Study\Selenium\PyLog

print os.path.dirname(__file__)  # D:/WorkSpace/Python/Study/Selenium/PyLog



# 記錄異常信息

try:
    1 / 0
except:
    # 等同於error級別，可是會額外記錄當前拋出的異常堆棧信息
    logger.exception('this is an exception message')

# 2016-10-08 21:59:19,493 ERROR   : this is an exception message
# Traceback (most recent call last):
#   File "D:/Git/py_labs/demo/use_logging.py", line 45, in
#     1 / 0
# ZeroDivisionError: integer division or modulo by zero



#額下面這段代碼是爲了臨時計算一下時間差能夠忽略
# start = datetime.date(2017,3,28)
# end = datetime.date(2017,9,27)
#
# days = (end - start).days
#
# weeks = days/7.0
#
# print days
# print weeks

 

logging配置要點

GetLogger()方法

這是最基本的入口，該方法參數能夠爲空，默認的logger名稱是root，若是在同一個程序中一直都使用同名的logger，其實會拿到同一個實例，使用這個技巧就能夠跨模塊調用一樣的logger來記錄日誌。

另外你也能夠經過日誌名稱來區分同一程序的不一樣模塊，好比這個例子。

logger = logging.getLogger("Web.UI")
logger = logging.getLogger("Web.Service")

 

Formatter日誌格式

Formatter對象定義了log信息的結構和內容，構造時須要帶兩個參數：

• 一個是格式化的模板fmt，默認會包含最基本的level和 message信息
• 一個是格式化的時間樣式datefmt，默認爲 2003-07-08 16:49:45,896 (%Y-%m-%d %H:%M:%S)

fmt中容許使用的變量能夠參考下表。

• %(name)s Logger的名字
• %(levelno)s 數字形式的日誌級別
• %(levelname)s 文本形式的日誌級別
• %(pathname)s 調用日誌輸出函數的模塊的完整路徑名，可能沒有
• %(filename)s 調用日誌輸出函數的模塊的文件名
• %(module)s 調用日誌輸出函數的模塊名|
• %(funcName)s 調用日誌輸出函數的函數名|
• %(lineno)d 調用日誌輸出函數的語句所在的代碼行
• %(created)f 當前時間，用UNIX標準的表示時間的浮點數表示|
• %(relativeCreated)d 輸出日誌信息時的，自Logger建立以來的毫秒數|
• %(asctime)s 字符串形式的當前時間。默認格式是「2003-07-08 16:49:45,896」。逗號後面的是毫秒
• %(thread)d 線程ID。可能沒有
• %(threadName)s 線程名。可能沒有
• %(process)d 進程ID。可能沒有
• %(message)s 用戶輸出的消息

SetLevel 日誌級別

Logging有以下級別: DEBUG，INFO，WARNING，ERROR，CRITICAL
默認級別是WARNING，logging模塊只會輸出指定level以上的log。這樣的好處, 就是在項目開發時debug用的log，在產品release階段不用一一註釋，只須要調整logger的級別就能夠了，很方便。

Handler 日誌處理器

最經常使用的是StreamHandler和FileHandler, Handler用於向不一樣的輸出端打log。
Logging包含不少handler, 可能用到的有下面幾種

logging.StreamHandler: 日誌輸出到流，能夠是sys.stderr、sys.stdout或者文件
logging.FileHandler: 日誌輸出到文件
日誌回滾方式，實際使用時用RotatingFileHandler和TimedRotatingFileHandler
logging.handlers.BaseRotatingHandler
logging.handlers.RotatingFileHandler
logging.handlers.TimedRotatingFileHandler
logging.handlers.SocketHandler: 遠程輸出日誌到TCP/IP sockets
logging.handlers.DatagramHandler: 遠程輸出日誌到UDP sockets
logging.handlers.SMTPHandler: 遠程輸出日誌到郵件地址
logging.handlers.SysLogHandler: 日誌輸出到syslog
logging.handlers.NTEventLogHandler: 遠程輸出日誌到Windows NT/2000/XP的事件日誌
logging.handlers.MemoryHandler: 日誌輸出到內存中的制定buffer
logging.handlers.HTTPHandler: 經過"GET"或"POST"遠程輸出到HTTP服務器

因爲StreamHandler和FileHandler是經常使用的日誌處理方式，因此直接包含在logging模塊中，而其餘方式則包含在logging.handlers模塊中，

 

Configuration 配置方法

logging的配置大體有下面幾種方式。

1. 經過代碼進行完整配置，參考開頭的例子，主要是經過getLogger方法實現。
2. 經過代碼進行簡單配置，下面有例子，主要是經過basicConfig方法實現。
3. 經過配置文件，下面有例子，主要是經過 logging.config.fileConfig(filepath)

logging.basicConfig

basicConfig()提供了很是便捷的方式讓你配置logging模塊並立刻開始使用，能夠參考下面的例子。具體能夠配置的項目請查閱

import logging

logging.basicConfig(filename='example.log',level=logging.DEBUG)
logging.debug('This message should go to the log file')

logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.DEBUG)
logging.debug('This message should appear on the console')

logging.basicConfig(format='%(asctime)s %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p')
logging.warning('is when this event was logged.')

備註： 其實你甚至能夠什麼都不配置直接使用默認值在控制檯中打log，用這樣的方式替換print語句對往後項目維護會有很大幫助。

經過文件配置logging

若是你但願經過配置文件來管理logging，能夠參考這個官方文檔。在log4net或者log4j中這是很常見的方式。

# logging.conf
[loggers]
keys=root

[logger_root]
level=DEBUG
handlers=consoleHandler
#,timedRotateFileHandler,errorTimedRotateFileHandler

#################################################
[handlers]
keys=consoleHandler,timedRotateFileHandler,errorTimedRotateFileHandler

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[handler_timedRotateFileHandler]
class=handlers.TimedRotatingFileHandler
level=DEBUG
formatter=simpleFormatter
args=('debug.log', 'H')

[handler_errorTimedRotateFileHandler]
class=handlers.TimedRotatingFileHandler
level=WARN
formatter=simpleFormatter
args=('error.log', 'H')

#################################################
[formatters]
keys=simpleFormatter, multiLineFormatter

[formatter_simpleFormatter]
format= %(levelname)s %(threadName)s %(asctime)s:   %(message)s
datefmt=%H:%M:%S

[formatter_multiLineFormatter]
format= ------------------------- %(levelname)s -------------------------
 Time:      %(asctime)s
 Thread:    %(threadName)s
 File:      %(filename)s(line %(lineno)d)
 Message:
 %(message)s

datefmt=%Y-%m-%d %H:%M:%S

假設以上的配置文件放在和模塊相同的目錄，代碼中的調用以下。

import os
filepath = os.path.join(os.path.dirname(__file__), 'logging.conf')
logging.config.fileConfig(filepath)
return logging.getLogger()

日誌重複輸出的坑

你有可能會看到你打的日誌會重複顯示屢次，可能的緣由有不少，但總結下來無非就一個，日誌中使用了重複的handler。

第一坑

import logging

logging.basicConfig(level=logging.DEBUG)

fmt = '%(levelname)s:%(message)s'
console_handler = logging.StreamHandler()
console_handler.setFormatter(logging.Formatter(fmt))
logging.getLogger().addHandler(console_handler)

logging.info('hello!')

# INFO:root:hello!
# INFO:hello!

上面這個例子出現了重複日誌，由於在第3行調用basicConfig()方法時系統會默認建立一個handler，若是你再添加一個控制檯handler時就會出現重複日誌。

第二坑

import logging
 
def get_logger():
    fmt = '%(levelname)s:%(message)s'
    console_handler = logging.StreamHandler()
    console_handler.setFormatter(logging.Formatter(fmt))
    logger = logging.getLogger('App')
    logger.setLevel(logging.INFO)
    logger.addHandler(console_handler)
    return logger
 
def call_me():
    logger = get_logger()
    logger.info('hi')
 
call_me()
call_me()
 
# INFO:hi
# INFO:hi
# INFO:hi

在這個例子裏hi竟然打印了三次，若是再調用一次call_me()呢？我告訴你會打印6次。why? 由於你每次調用get_logger()方法時都會給它加一個新的handler，你是自食其果。正常的作法應該是全局只配置logger一次。

第三坑

import logging
 
def get_logger():
    fmt = '%(levelname)s: %(message)s'
    console_handler = logging.StreamHandler()
    console_handler.setFormatter(logging.Formatter(fmt))
    logger = logging.getLogger('App')
    logger.setLevel(logging.INFO)
    logger.addHandler(console_handler)
    return logger
 
def foo():
    logging.basicConfig(format='[%(name)s]: %(message)s')
    logging.warn('some module use root logger')
 
def main():
    logger = get_logger()
    logger.info('App start.')
    foo()
    logger.info('App shutdown.')
 
main()
 
# INFO: App start.
# [root]: some module use root logger
# INFO: App shutdown.
# [App]: App shutdown.

爲嘛最後的App shutdown打印了兩次？因此在Stackoverflow上不少人都問，我應該怎麼樣把root logger關掉，root logger太坑爹坑媽了。只要你在程序中使用過root logger，那麼默認你打印的全部日誌都算它一份。上面的例子沒有什麼很好的辦法，我建議你招到那個沒有通過大腦就使用root logger的人，亂棍打死他或者開除他。

若是你真的想禁用root logger，有兩個不是辦法的辦法：

logging.getLogger().handlers = []  # 刪除全部的handler
logging.getLogger().setLevel(logging.CRITICAL)  # 將它的級別設置到最高

小結

Python中的日誌模塊做爲標準庫的一部分，功能仍是比較完善的。我的以爲上手簡單，另外也支持好比過濾，文件鎖等高級功能，能知足大多數項目需求。