Python实现日志无延迟实时写入的方法与代码示例

追风的人
追风的人
发布时间:2026-10-13| 5人浏览过
原创

本文介绍Python中实现日志无延迟实时写入的方法。通过设置open函数的buffering参数为0并采用二进制模式打开文件,可避免内容缓冲导致的丢失问题。同时修正字符串与字节对象的类型转换错误,确保日志既能实时落盘又能正常输出到终端,适用于程序意外中断时的日志保留场景。

Python日志实时写入问题背景

在使用Python生成日志文件时,经常遇到即使调用flush()方法,文件内容也无法实时写入磁盘的情况。这导致当程序发生意外中断时,之前生成的日志信息全部丢失,无法进行后续排查。

经过查阅相关资料并实际测试,找到了一种可行的解决方案,具体实现如下。


open 函数中有一个bufferin的参数,默认是-1,如果设置为0是,就是无缓冲模式。 
但是用二进制模式打开这个文件,并且把要写入的信息转换byte -like如下。
 
with open("test.txt",'wb',buffering=0) as f:
#wb是写模式加二进制模式
  f.write(b"hello!")在字符串前加b,转换成二进制
 
如果没用二进制打开文件会提示ValueEorror:
 
没把字符串转成二进制会提示:TypeError: a bytes-like object is required, not ‘str'

常见报错与原因分析

在测试过程中,可能会遇到以下两种典型报错:


class Logger(object):
  def __init__(self, log_path="default.log"):
    self.terminal = sys.stdout
    # self.log = open(log_path, "w+")
    self.log = open(log_path, "wb", buffering=0)
 
  def print(self, message):
    self.terminal.write(message + "\n")
    self.log.write(message.encode('utf-8') + b"\n")
 
  def flush(self):
    self.terminal.flush()
    self.log.flush()
 
  def close(self):
    self.log.close()

错误类型一:TypeError: can't concat str to bytes(无法将字符串与字节对象拼接)。

错误类型二:write函数需要str对象,但接收到的是bytes对象(具体提示可能略有差异)。

产生上述错误的原因分析如下:

首先,log.write方法期望接收bytes类型的数据,这一要求本身没有问题。问题在于message.encode('utf-8')返回的是bytes类型,而普通的换行符'\n'是str类型,两者不能直接相加。因此,必须在换行符前添加b前缀,将其转换为字节字符串b"\n"。

其次,terminal.write函数用于向终端输出,其参数必须为str类型。因此,在写入终端时,不应使用encode转换后的bytes,而应直接使用原始字符串message加上str类型的换行符'\n'。

修正后的代码实现

修正后的代码逻辑如下:


  def print(self, message):
    self.terminal.write(message + "\n")
    self.log.write(message.encode('utf-8') + b"\n")

按照上述修改后,程序运行正常,日志能够实时写入文件并同步输出到终端。

以上即为Python实现日志无延迟实时写入的完整示例与解析,希望能为遇到类似问题的开发者提供参考。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。