python之配置日誌的幾種方式

做爲開發者，咱們能夠經過如下3種方式來配置logging:

• 1）使用Python代碼顯式的建立loggers, handlers和formatters並分別調用它們的配置函數；
• 2）建立一個日誌配置文件，而後使用fileConfig()函數來讀取該文件的內容；
• 3）建立一個包含配置信息的dict，而後把它傳遞個dictConfig()函數；

須要說明的是，logging.basicConfig()也屬於第一種方式，它只是對loggers, handlers和formatters的配置函數進行了封裝。另外，第二種配置方式相對於第一種配置方式的優勢在於，它將配置信息和代碼進行了分離，這一方面下降了日誌的維護成本，同時還使得非開發人員也可以去很容易地修改日誌配置。

1、使用Python代碼實現日誌配置

---

代碼以下：

# 建立一個日誌器logger並設置其日誌級別爲DEBUG
logger = logging.getLogger('simple_logger')
logger.setLevel(logging.DEBUG)

# 建立一個流處理器handler並設置其日誌級別爲DEBUG
handler = logging.StreamHandler(sys.stdout)
handler.setLevel(logging.DEBUG)

# 建立一個格式器formatter並將其添加處處理器handler
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
handler.setFormatter(formatter)

# 爲日誌器logger添加上面建立的處理器handler
logger.addHandler(handler)

# 日誌輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

運行輸出：

2017-05-15 11:30:50,955 - simple_logger - DEBUG - debug message
2017-05-15 11:30:50,955 - simple_logger - INFO - info message
2017-05-15 11:30:50,955 - simple_logger - WARNING - warn message
2017-05-15 11:30:50,955 - simple_logger - ERROR - error message
2017-05-15 11:30:50,955 - simple_logger - CRITICAL - critical message

2、使用配置文件和fileConfig()函數實現日誌配置

---

如今咱們經過配置文件的方式來實現與上面一樣的功能：

# 讀取日誌配置文件內容
logging.config.fileConfig('logging.conf')

# 建立一個日誌器logger
logger = logging.getLogger('simpleExample')

# 日誌輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

配置文件logging.conf內容以下：

[loggers]
keys=root,simpleExample

[handlers]
keys=fileHandler,consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=fileHandler

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0

[handler_consoleHandler]
class=StreamHandler
args=(sys.stdout,)
level=DEBUG
formatter=simpleFormatter

[handler_fileHandler]
class=FileHandler
args=('logging.log', 'a')
level=ERROR
formatter=simpleFormatter

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

運行輸出：

2017-05-15 11:32:16,539 - simpleExample - DEBUG - debug message
2017-05-15 11:32:16,555 - simpleExample - INFO - info message
2017-05-15 11:32:16,555 - simpleExample - WARNING - warn message
2017-05-15 11:32:16,555 - simpleExample - ERROR - error message
2017-05-15 11:32:16,555 - simpleExample - CRITICAL - critical message

1. 關於fileConfig()函數的說明：

該函數其實是對configparser模塊的封裝，關於configparser模塊的介紹請參考< > 。

函數定義：

該函數定義在loging.config模塊下：

logging.config.fileConfig(fname, defaults=None, disable_existing_loggers=True)

參數：

• fname：表示配置文件的文件名或文件對象
• defaults：指定傳給ConfigParser的默認值
• disable_existing_loggers：這是一個布爾型值，默認值爲True（爲了向後兼容）表示禁用已經存在的logger，除非它們或者它們的祖先明確的出如今日誌配置中；若是值爲False則對已存在的loggers保持啓動狀態。

2. 配置文件格式說明：

上面提到過，fileConfig()函數是對ConfigParser/configparser模塊的封裝，也就是說fileConfig()函數是基於ConfigParser/configparser模塊來理解日誌配置文件的。換句話說，fileConfig()函數所能理解的配置文件基礎格式是與ConfigParser/configparser模塊一致的，只是在此基礎上對文件中包含的section和option作了一下規定和限制，好比：

• 1）配置文件中必定要包含loggers、handlers、formatters這些section，它們經過keys這個option來指定該配置文件中已經定義好的loggers、handlers和formatters，多個值之間用逗號分隔；另外loggers這個section中的keys必定要包含root這個值；

• 2）loggers、handlers、formatters中所指定的日誌器、處理器和格式器都須要在下面以單獨的section進行定義。seciton的命名規則爲[logger_loggerName]、[formatter_formatterName]、[handler_handlerName]

• 3）定義logger的section必須指定level和handlers這兩個option，level的可取值爲DEBUG、INFO、WARNING、ERROR、CRITICAL、NOTSET，其中NOTSET表示全部級別的日誌消息都要記錄，包括用戶定義級別；handlers的值是以逗號分隔的handler名字列表，這裏出現的handler必須出如今[handlers]這個section中，而且相應的handler必須在配置文件中有對應的section定義；

• 4）對於非root logger來講，除了level和handlers這兩個option以外，還須要一些額外的option，其中qualname是必須提供的option，它表示在logger層級中的名字，在應用代碼中經過這個名字獲得logger；propagate是可選項，其默認是爲1，表示消息將會傳遞給高層次logger的handler，一般咱們須要指定其值爲0，這個能夠看下下面的例子；另外，對於非root logger的level若是設置爲NOTSET，系統將會查找高層次的logger來決定此logger的有效level。

• 5）定義handler的section中必須指定class和args這兩個option，level和formatter爲可選option；class表示用於建立handler的類名，args表示傳遞給class所指定的handler類初始化方法參數
  ，它必須是一個元組（tuple）的形式，即使只有一個參數值也須要是一個元組的形式；level與logger中的level同樣，而formatter指定的是該處理器所使用的格式器，這裏指定的格式器名稱必須出如今formatters這個section中，且在配置文件中必需要有這個formatter的section定義；若是不指定formatter則該handler將會以消息自己做爲日誌消息進行記錄，而不添加額外的時間、日誌器名稱等信息；

• 6）定義formatter的sectioin中的option都是可選的，其中包括format用於指定格式字符串，默認爲消息字符串自己；datefmt用於指定asctime的時間格式，默認爲'%Y-%m-%d %H:%M:%S'；class用於指定格式器類名，默認爲logging.Formatter；

說明：

配置文件中的class指定類名時，該類名能夠是相對於logging模塊的相對值，如：FileHandler、handlers.TimeRotatingFileHandler；也能夠是一個絕對路徑值，經過普通的import機制來解析，如自定義的handler類mypackage.mymodule.MyHandler，可是mypackage須要在Python可用的導入路徑中--sys.path。

3. 對於propagate屬性的說明

實例1：

咱們把logging.conf中simpleExample這個handler定義中的propagate屬性值改成1，或者刪除這個option（默認值就是1）：

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=1

如今來執行一樣的代碼：

# 讀取日誌配置文件內容
logging.config.fileConfig('logging.conf')

# 建立一個日誌器logger
logger = logging.getLogger('simpleExample')

# 日誌輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

咱們會發現，除了在控制檯有輸出信息時候，在logging.log文件中也有內容輸出:

2017-05-15 16:06:25,366 - simpleExample - ERROR - error message
2017-05-15 16:06:25,367 - simpleExample - CRITICAL - critical message

這說明simpleExample這個logger在處理完日誌記錄後，把日誌記錄傳遞給了上級的root logger再次作處理，全部纔會有兩個地方都有日誌記錄的輸出。一般，咱們都須要顯示的指定propagate的值爲0，防止日誌記錄向上層logger傳遞。

實例2：

如今，咱們試着用一個沒有在配置文件中定義的logger名稱來獲取logger：

# 讀取日誌配置文件內容
logging.config.fileConfig('logging.conf')

# 用一個沒有在配置文件中定義的logger名稱來建立一個日誌器logger
logger = logging.getLogger('simpleExample1')

# 日誌輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

運行程序後，咱們會發現控制檯沒有任何輸出，而logging.log文件中又多了兩行輸出：

2017-05-15 16:13:16,810 - simpleExample1 - ERROR - error message
2017-05-15 16:13:16,810 - simpleExample1 - CRITICAL - critical message

這是由於，當一個日誌器沒有被設置任何處理器是，系統會去查找該日誌器的上層日誌器上所設置的日誌處理器來處理日誌記錄。simpleExample1在配置文件中沒有被定義，所以logging.getLogger(simpleExample1)這行代碼這是獲取了一個logger實例，並無給它設置任何處理器，可是它的上級日誌器--root logger在配置文件中有定義且設置了一個FileHandler處理器，simpleExample1處理器最終經過這個FileHandler處理器將日誌記錄輸出到logging.log文件中了。

3、使用字典配置信息和dictConfig()函數實現日誌配置

---

Python 3.2中引入的一種新的配置日誌記錄的方法--用字典來保存logging配置信息。這相對於上面所講的基於配置文件來保存logging配置信息的方式來講，功能更增強大，也更加靈活，由於咱們可把不少的數據轉換成字典。好比，咱們可使用JSON格式的配置文件、YAML格式的配置文件，而後將它們填充到一個配置字典中；或者，咱們也能夠用Python代碼構建這個配置字典，或者經過socket接收pickled序列化後的配置信息。總之，你可使用你的應用程序能夠操做的任何方法來構建這個配置字典。

這個例子中，咱們將使用YAML格式來完成與上面一樣的日誌配置。

首先須要安裝PyYAML模塊：

pip install PyYAML

Python代碼：

import logging
import logging.config
import yaml

with open('logging.yml', 'r') as f_conf:
    dict_conf = yaml.load(f_conf)
logging.config.dictConfig(dict_conf)

logger = logging.getLogger('simpleExample')
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

logging.yml配置文件的內容：

version: 1
formatters:
  simple:
    format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
  console:
    class: logging.StreamHandler
    level: DEBUG
    formatter: simple
    stream: ext://sys.stdout
  console_err:
    class: logging.StreamHandler
    level: ERROR
    formatter: simple
    stream: ext://sys.stderr
loggers:
  simpleExample:
    level: DEBUG
    handlers: [console]
    propagate: yes
root:
  level: DEBUG
  handlers: [console_err]

輸出結果：

2017-05-21 14:19:31,089 - simpleExample - DEBUG - debug message
2017-05-21 14:19:31,089 - simpleExample - INFO - info message
2017-05-21 14:19:31,089 - simpleExample - WARNING - warn message
2017-05-21 14:19:31,089 - simpleExample - ERROR - error message
2017-05-21 14:19:31,090 - simpleExample - CRITICAL - critical message

1. 關於dictConfig()函數的說明：

該函數其實是對configparser模塊的封裝，關於configparser模塊的介紹請參考< > 。

函數定義：

該函數定義在loging.config模塊下：

logging.config.dictConfig(config)

該函數能夠從一個字典對象中獲取日誌配置信息，config參數就是這個字典對象。關於這個字典對象的內容規則會在下面進行描述。

2. 配置字典說明

不管是上面提到的配置文件，仍是這裏的配置字典，它們都要描述出日誌配置所須要建立的各類對象以及這些對象之間的關聯關係。好比，能夠先建立一個名額爲「simple」的格式器formatter；而後建立一個名爲「console」的處理器handler，並指定該handler輸出日誌所使用的格式器爲"simple"；而後再建立一個日誌器logger，並指定它所使用的處理器爲"console"。

傳遞給dictConfig()函數的字典對象只能包含下面這些keys，其中version是必須指定的key，其它key都是可選項：

key名稱	描述
version	必選項，其值是一個整數值，表示配置格式的版本，當前惟一可用的值就是1
formatters	可選項，其值是一個字典對象，該字典對象每一個元素的key爲要定義的格式器名稱，value爲格式器的配置信息組成的dict，如format和datefmt
filters	可選項，其值是一個字典對象，該字典對象每一個元素的key爲要定義的過濾器名稱，value爲過濾器的配置信息組成的dict，如name
handlers	可選項，其值是一個字典對象，該字典對象每一個元素的key爲要定義的處理器名稱，value爲處理器的配置信息組成的dcit，如class、level、formatter和filters，其中class爲必選項，其它爲可選項；其餘配置信息將會傳遞給class所指定的處理器類的構造函數，以下面的handlers定義示例中的stream、filename、maxBytes和backupCount等
loggers	可選項，其值是一個字典對象，該字典對象每一個元素的key爲要定義的日誌器名稱，value爲日誌器的配置信息組成的dcit，如level、handlers、filters 和 propagate（yes
root	可選項，這是root logger的配置信息，其值也是一個字典對象。除非在定義其它logger時明確指定propagate值爲no，不然root logger定義的handlers都會被做用到其它logger上
incremental	可選項，默認值爲False。該選項的意義在於，若是這裏定義的對象已經存在，那麼這裏對這些對象的定義是否應用到已存在的對象上。值爲False表示，已存在的對象將會被從新定義。
disable_existing_loggers	可選項，默認值爲True。該選項用於指定是否禁用已存在的日誌器loggers，若是incremental的值爲True則該選項將會被忽略

handlers定義示例：

handlers:
  console:
    class : logging.StreamHandler
    formatter: brief
    level   : INFO
    filters: [allow_foo]
    stream  : ext://sys.stdout
  file:
    class : logging.handlers.RotatingFileHandler
    formatter: precise
    filename: logconfig.log
    maxBytes: 1024
    backupCount: 3

3. 關於外部對象的訪問

須要說明的是，上面所使用的對象並不限於loggging模塊所提供的對象，咱們能夠實現本身的formatter或handler類。另外，這些類的參數也許須要包含sys.stderr這樣的外部對象。若是配置字典對象是使用Python代碼構造的，能夠直接使用sys.stdout、sys.stderr；可是當經過文本文件（如JSON、YAML格式的配置文件）提供配置時就會出現問題，由於在文本文件中，沒有標準的方法來區分sys.stderr和字符串'sys.stderr'。爲了區分它們，配置系統會在字符串值中查找特定的前綴，例如'ext://sys.stderr'中'ext://'會被移除，而後import sys.stderr。

• 參考文檔：https://docs.python.org/3.5/library/logging.config.html