Python線上環境如何優雅地使用日誌？

時間 2019-11-06

原文原文鏈接

個人小程序【編程面試題庫】

瞎比比

這篇文章其實早在一個月以前就寫好了。奈何，加班猛如虎，真的怕了。直至今天才幸運地有了個雙休，趕忙排版一下文章發佈了。如下爲正文。在初學 Python 的時候，咱們使用python

print("hello world")
複製代碼

輸出了咱們的第一行代碼。在以後的日子裏，便一直使用 print 進行調試（固然，還有 IDE 的 debug 模式）。可是，當你在線上運行 Python 腳本的時候，你並不可能一直守着你的運行終端。但是若是不守着的話，每當出現 bug ，錯誤又無從查起。這個時候，你須要對你的調試工具進行更新換代了，這裏我推薦一個優雅的調試工具 logging。面試

與 print 相比 logging 有什麼優點？

那既然我推薦這個工具，它憑什麼要被推薦呢？且來看看它有什麼優點：算法

能夠輸出到多處，例如：在輸出到控制檯的同時，能夠保存日誌到日誌文件裏面，或者保存到其餘遠程服務器
能夠設置日誌等級，DEBUG、INFO、ERROR等，在不一樣的環境（調試環境、線上環境）使用不一樣的等級來過濾日誌，使用起來很方便
配置靈活，可保存到配置文件，格式化輸出

基礎用法

下面涉及到的代碼我都省略了導包部分，詳見源碼(後臺回覆 logging 獲取源碼)

base_usage.py

logging.basicConfig(level=log_level, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

logger.info("Log level info")
logger.debug("Log level debug")
logger.warning("Log level warning")

# 捕獲異常，並打印出出錯行數
try:
    raise Exception("my exception")
except (SystemExit, KeyboardInterrupt):
    raise
except Exception:
    logger.error("there is an error =>", exc_info=True)
複製代碼

level 爲日誌等級，分爲：編程

FATAL：致命錯誤
CRITICAL：特別糟糕的事情，如內存耗盡、磁盤空間爲空，通常不多使用
ERROR：發生錯誤時，如IO操做失敗或者鏈接問題
WARNING：發生很重要的事件，可是並非錯誤時，如用戶登陸密碼錯誤
INFO：處理請求或者狀態變化等平常事務
DEBUG：調試過程當中使用DEBUG等級，如算法中每一個循環的中間狀態
複製代碼

foamat 能夠格式化輸出，其參數有以下：json

%(levelno)s：打印日誌級別的數值
%(levelname)s：打印日誌級別的名稱
%(pathname)s：打印當前執行程序的路徑，其實就是sys.argv[0]
%(filename)s：打印當前執行程序名
%(funcName)s：打印日誌的當前函數
%(lineno)d：打印日誌的當前行號
%(asctime)s：打印日誌的時間
%(thread)d：打印線程ID
%(threadName)s：打印線程名稱
%(process)d：打印進程ID
%(message)s：打印日誌信息
複製代碼

捕獲異常,如下兩行代碼都具備相同的做用小程序

logger.exception(msg,_args)
logger.error(msg,exc_info = True,_args)
複製代碼

保存到文件，並輸出到命令行

這個用法直接 copy 使用就行bash

import logging
# 寫入文件
import logging

logger = logging.getLogger(__name__)
logger.setLevel(level=logging.INFO)
handler = logging.FileHandler("info.log")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)

logger.info("Log level info")
logger.debug("Log level debug")
logger.warning("Log level warning")


# 寫入文件，同時輸出到屏幕

import logging
logger = logging.getLogger(__name__)
logger.setLevel(level = logging.INFO)
handler = logging.FileHandler("info.log")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)

logger.addHandler(handler)
logger.addHandler(console)

logger.info("Log level info")
logger.debug("Log level debug")
logger.warning("Log level warning")
複製代碼

多模塊使用 logging

被調用者的日誌格式會與調用者的日誌格式同樣 main.py服務器

# -*- coding: utf-8 -*-
__auth__ = 'zone'
__date__ = '2019/6/17 下午11:46'
''' 公衆號：zone7 小程序：編程面試題庫 '''
import os
import logging

from python.logging_model.code import sub_of_main

logger = logging.getLogger("zone7Model")
logger.setLevel(level=logging.INFO)
handler = logging.FileHandler("log.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

console = logging.StreamHandler()
console.setLevel(logging.INFO)
console.setFormatter(formatter)

logger.addHandler(handler)
logger.addHandler(console)

sub = sub_of_main.SubOfMain()
logger.info("main module log")
sub.print_some_log()
複製代碼

sub_of_main.py函數

# -*- coding: utf-8 -*-
__auth__ = 'zone'
__date__ = '2019/6/17 下午11:47'
''' 公衆號：zone7 小程序：編程面試題庫 '''
import logging
module_logger = logging.getLogger("zone7Model.sub.module")
class SubOfMain(object):
    def __init__(self):
        self.logger = logging.getLogger("zone7Model.sub.module")
        self.logger.info("init sub class")

    def print_some_log(self):
        self.logger.info("sub class log is printed")


def som_function():
    module_logger.info("call function some_function")

複製代碼

使用配置文件配置 logging

這裏分別給出了兩種配置文件的使用案例，都分別使用了三種輸出，輸出到命令行、輸出到文件、將錯誤信息獨立輸出到一個文件工具

log_cfg.json

{
    "version":1,
    "disable_existing_loggers":false,
    "formatters":{
        "simple":{
            "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
        }
    },
    "handlers":{
        "console":{
            "class":"logging.StreamHandler",
            "level":"DEBUG",
            "formatter":"simple",
            "stream":"ext://sys.stdout"
        },
        "info_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"INFO",
            "formatter":"simple",
            "filename":"info.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        },
        "error_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"ERROR",
            "formatter":"simple",
            "filename":"errors.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        }
    },
    "loggers":{
        "my_module":{
            "level":"ERROR",
            "handlers":["info_file_handler2"],
            "propagate":"no"
        }
    },
    "root":{
        "level":"INFO",
        "handlers":["console","info_file_handler","error_file_handler"]
    }
}
複製代碼

經過 json 文件讀取配置：

import json
import logging.config
import os


def set_log_cfg(default_path="log_cfg.json", default_level=logging.INFO, env_key="LOG_CFG"):
    path = default_path
    value = os.getenv(env_key, None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path, "r") as f:
            config = json.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level=default_level)


def record_some_thing():
    logging.info("Log level info")
    logging.debug("Log level debug")
    logging.warning("Log level warning")


if __name__ == "__main__":
    set_log_cfg(default_path="log_cfg.json")
    record_some_thing()
複製代碼

log_cfg.yaml

version: 1
disable_existing_loggers: False
formatters:
        simple:
            format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
    console:
            class: logging.StreamHandler
            level: DEBUG
            formatter: simple
            stream: ext://sys.stdout
    info_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: INFO
            formatter: simple
            filename: info.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
    error_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: ERROR
            formatter: simple
            filename: errors.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
loggers:
    my_module:
            level: ERROR
            handlers: [info_file_handler]
            propagate: no
root:
    level: INFO
    handlers: [console,info_file_handler,error_file_handler]
複製代碼

經過 yaml 文件讀取配置：

import yaml
import logging.config
import os

def set_log_cfg(default_path="log_cfg.yaml", default_level=logging.INFO, env_key="LOG_CFG"):
    path = default_path
    value = os.getenv(env_key, None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path, "r") as f:
            config = yaml.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level=default_level)


def record_some_thing():
    logging.info("Log level info")
    logging.debug("Log level debug")
    logging.warning("Log level warning")


if __name__ == "__main__":
    set_log_cfg(default_path="log_cfg.yaml")
    record_some_thing()
複製代碼