Python实现日志无延迟实时写入的方法与代码示例
本文介绍Python中实现日志无延迟实时写入的方法。通过设置open函数的buffering参数为0并采用二进制模式打开文件,可避免内容缓冲导致的丢失问题。同时修正字符串与字节对象的类型转换错误,确保日志既能实时落盘又能正常输出到终端,适用于程序意外中断时的日志保留场景。
Python日志实时写入问题背景
在使用Python生成日志文件时,经常遇到即使调用flush()方法,文件内容也无法实时写入磁盘的情况。这导致当程序发生意外中断时,之前生成的日志信息全部丢失,无法进行后续排查。
经过查阅相关资料并实际测试,找到了一种可行的解决方案,具体实现如下。
open 函数中有一个bufferin的参数,默认是-1,如果设置为0是,就是无缓冲模式。
但是用二进制模式打开这个文件,并且把要写入的信息转换byte -like如下。
with open("test.txt",'wb',buffering=0) as f:
#wb是写模式加二进制模式
f.write(b"hello!")在字符串前加b,转换成二进制
如果没用二进制打开文件会提示ValueEorror:
没把字符串转成二进制会提示:TypeError: a bytes-like object is required, not ‘str'
常见报错与原因分析
在测试过程中,可能会遇到以下两种典型报错:
class Logger(object):
def __init__(self, log_path="default.log"):
self.terminal = sys.stdout
# self.log = open(log_path, "w+")
self.log = open(log_path, "wb", buffering=0)
def print(self, message):
self.terminal.write(message + "\n")
self.log.write(message.encode('utf-8') + b"\n")
def flush(self):
self.terminal.flush()
self.log.flush()
def close(self):
self.log.close()
错误类型一:TypeError: can't concat str to bytes(无法将字符串与字节对象拼接)。
错误类型二:write函数需要str对象,但接收到的是bytes对象(具体提示可能略有差异)。
产生上述错误的原因分析如下:
首先,log.write方法期望接收bytes类型的数据,这一要求本身没有问题。问题在于message.encode('utf-8')返回的是bytes类型,而普通的换行符'\n'是str类型,两者不能直接相加。因此,必须在换行符前添加b前缀,将其转换为字节字符串b"\n"。
其次,terminal.write函数用于向终端输出,其参数必须为str类型。因此,在写入终端时,不应使用encode转换后的bytes,而应直接使用原始字符串message加上str类型的换行符'\n'。
修正后的代码实现
修正后的代码逻辑如下:
def print(self, message):
self.terminal.write(message + "\n")
self.log.write(message.encode('utf-8') + b"\n")
按照上述修改后,程序运行正常,日志能够实时写入文件并同步输出到终端。
以上即为Python实现日志无延迟实时写入的完整示例与解析,希望能为遇到类似问题的开发者提供参考。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









