Python logging模块实战:从基础配置到多模块日志管理
本文详解Python logging模块的核心用法,涵盖日志级别(DEBUG至CRITICAL)的配置与过滤、控制台与文件输出的灵活切换、Formatter格式定制、异常信息的traceback记录,以及多模块调用时的日志顺序控制。此外,还介绍了基于时间的日志滚动(TimedRotatingFileHandler)与过期删除策略,帮助开发者构建规范、可维护的日志系统。
Python logging模块概述
在Python开发中,使用print语句打印变量值是一种快速查看程序状态的方式。然而,当需要监控大量位置或在单一文件中集中查看日志时,print语句显得力不从心。为此,Python引入了logging模块,用于更专业地记录程序运行信息。
虽然print也能输出日志信息,但logging模块提供了更精细的控制能力,包括指定输出目标、定义输出格式以及通过消息级别过滤无关信息,从而提升日志管理的效率。
日志级别与过滤机制
1、日志级别
默认情况下,root logger的日志级别被设置为logging.WARNING,低于该级别的日志消息将被忽略,不会输出。
日志级别的优先级排序为:CRITICAL > ERROR > WARNING > INFO > DEBUG。
debug:用于打印所有日志信息,包含详细的诊断数据,通常仅在排查问题时使用。
info:记录info、warning、error和critical级别的日志,用于确认程序按预期正常运行。
warning:记录warning、error和critical级别的日志,提示可能出现的问题或未来潜在风险(如磁盘空间不足),但程序仍可继续运行。
error:记录error和critical级别的日志,表示发生了更严重的问题,导致软件部分功能无法执行。
critical:仅记录critical级别的日志,表示发生了严重错误,程序可能无法继续运行。
若需显示低于WARNING级别的日志,可引入NOTSET级别进行配置:
import logging # 引入logging模块
logging.basicConfig(level=logging.NOTSET) # 设置日志级别
logging.debug(u"如果设置了日志级别为NOTSET,那么这里可以采取debug、info的级别的内容也可以显示在控制台上了")
回显:

核心组件:Formatter、Logger与Handler
2、部分名词解释
Logging.Formatter:该类用于配置日志的输出格式,允许自定义日期和时间显示方式,日志输出时将按设定的格式展示内容。
Logging.Logger:Logger是logging模块的核心组件,负责以下三项工作:
1. 为程序提供记录日志的接口 2. 判断日志级别,决定是否过滤 3. 根据日志级别将消息分发给不同的handler
常用函数包括: Logger.setLevel():设置日志级别 Logger.addHandler() 和 Logger.removeHandler():添加或删除Handler Logger.addFilter():添加Filter,实现过滤功能 Logging.Handler:Handler根据日志级别对日志进行分发,例如设置为WARNING级别的Handler仅处理WARNING及以上级别的日志。
常用函数包括: setLevel():设置级别 setFormatter():设置Formatter
日志输出配置:控制台与文件
3、日志输出-控制台
import logging # 引入logging模块
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s') # logging.basicConfig函数对日志的输出格式及方式做相关配置
# 由于日志基本配置中级别设置为DEBUG,所以一下打印信息将会全部显示在控制台上
logging.info('this is a loggging info message')
logging.debug('this is a loggging debug message')
logging.warning('this is loggging a warning message')
logging.error('this is an loggging error message')
logging.critical('this is a loggging critical message')
上述代码通过logging.basicConfig函数配置了日志级别和输出格式;由于级别设置为DEBUG,因此所有DEBUG及以上级别的信息均会输出到控制台。
回显:

4、日志输出-文件
import logging # 引入logging模块
import os.path
import time
# 第一步,创建一个logger
logger = logging.getLogger()
logger.setLevel(logging.INFO) # Log等级总开关
# 第二步,创建一个handler,用于写入日志文件
rq = time.strftime('%Y%m%d%H%M', time.localtime(time.time()))
log_path = os.path.dirname(os.getcwd()) + '/Logs/'
log_name = log_path + rq + '.log'
logfile = log_name
fh = logging.FileHandler(logfile, mode='w')
fh.setLevel(logging.DEBUG) # 输出到file的log等级的开关
# 第三步,定义handler的输出格式
formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
fh.setFormatter(formatter)
# 第四步,将logger添加到handler里面
logger.addHandler(fh)
# 日志
logger.debug('this is a logger debug message')
logger.info('this is a logger info message')
logger.warning('this is a logger warning message')
logger.error('this is a logger error message')
logger.critical('this is a logger critical message')
回显(打开同一目录下生成的文件):


5、日志输出-控制台和文件
若需同时输出到控制台,可在第二步和第三步之间插入一个handler:
创建一个handler,用于输出到控制台
ch = logging.StreamHandler()
ch.setLevel(logging.WARNING) # 输出到console的log等级的开关在第四步和第五步中分别加入以下代码即可实现:
ch.setFormatter(formatter)
logger.addHandler(ch)日志格式定制与异常捕获
6、format常用格式说明
- %(levelno)s: 打印日志级别的数值
- %(levelname)s: 打印日志级别名称
- %(pathname)s: 打印当前执行程序的路径,即sys.argv[0]
- %(filename)s: 打印当前执行程序名
- %(funcName)s: 打印日志所在的当前函数
- %(lineno)d: 打印日志所在的当前行号
- %(asctime)s: 打印日志生成的时间
- %(thread)d: 打印线程ID
- %(threadName)s: 打印线程名称
- %(process)d: 打印进程ID
- %(message)s: 打印日志信息内容
7、捕捉异常,用traceback记录
import os.path
import time
import logging
# 创建一个logger
logger = logging.getLogger()
logger.setLevel(logging.INFO) # Log等级总开关
# 创建一个handler,用于写入日志文件
rq = time.strftime('%Y%m%d%H%M', time.localtime(time.time()))
log_path = os.path.dirname(os.getcwd()) + '/Logs/'
log_name = log_path + rq + '.log'
logfile = log_name
fh = logging.FileHandler(logfile, mode='w')
fh.setLevel(logging.DEBUG) # 输出到file的log等级的开关
# 定义handler的输出格式
formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
fh.setFormatter(formatter)
logger.addHandler(fh)
# 使用logger.XX来记录错误,这里的"error"可以根据所需要的级别进行修改
try:
open('/path/to/does/not/exist', 'rb')
except (SystemExit, KeyboardInterrupt):
raise
except Exception, e:
logger.error('Failed to open file', exc_info=True)
回显(存储在文件中):

若需记录错误但不上报异常,可将exc_info设置为False,回显如下:
多模块日志管理与滚动策略
8、多模块调用logging,日志输出顺序
warning_output.py
import logging
def write_warning():
logging.warning(u"记录文件warning_output.py的日志")
error_output.py
import logging
def write_error():
logging.error(u"记录文件error_output.py的日志")
main.py
import logging
import warning_output
import error_output
def write_critical():
logging.critical(u"记录文件main.py的日志")
warning_output.write_warning() # 调用warning_output文件中write_warning方法
write_critical()
error_output.write_error() # 调用error_output文件中write_error方法回显:

从上述示例可见,日志的输出顺序与模块的执行顺序保持一致。
9、日志滚动和过期删除(按时间)
# coding:utf-8
import logging
import time
import re
from logging.handlers import TimedRotatingFileHandler
from logging.handlers import RotatingFileHandler
def backroll():
#日志打印格式
log_fmt = '%(asctime)s\tFile \"%(filename)s\",line %(lineno)s\t%(levelname)s: %(message)s'
formatter = logging.Formatter(log_fmt)
#创建TimedRotatingFileHandler对象
log_file_handler = TimedRotatingFileHandler(filename="ds_update", when="M", interval=2, backupCount=2)
#log_file_handler.suffix = "%Y-%m-%d_%H-%M.log"
#log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}.log$")
log_file_handler.setFormatter(formatter)
logging.basicConfig(level=logging.INFO)
log = logging.getLogger()
log.addHandler(log_file_handler)
#循环打印日志
log_content = "test log"
count = 0
while count < 30:
log.error(log_content)
time.sleep(20)
count = count + 1
log.removeHandler(log_file_handler)
if __name__ == "__main__":
backroll()
filename:日志文件名的前缀;
when:字符串,描述滚动周期的基本单位,可选值及含义如下: “S”: Seconds “M”: Minutes “H”: Hours “D”: Days “W”: Week day (0=Monday) “midnight”: Roll over at midnight
interval:滚动周期,单位由when指定,例如when=’D’,interval=1表示每天生成一个日志文件。
backupCount:表示保留的日志文件数量。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持本站。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









