Python日志模块logging性能测试与多进程处理方案

Ada

发布时间：2026-10-13| 3人浏览过

原创

本文通过实测分析Python标准库logging模块在机械磁盘上的写入性能，发现单进程每秒约写入2800-3000行日志，此时磁盘IO已饱和。针对多进程场景，提出按PID分离日志文件并合并的方案，指出多进程无法突破IO瓶颈，高性能场景需引入缓存或分布式日志系统。

前言

在Java生态中，Log4j是极为通用的日志组件；而在Python中，内置的logging模块提供了类似的功能。尽管日志是记录操作行为的有效手段，但大多数日志实现依赖文件写入磁盘，这往往导致磁盘I/O成为系统性能瓶颈。针对普通服务器使用的机械硬盘（非SSD），Python logging模块的性能极限究竟如何？本文将通过实际测试进行验证。

测试代码如下：

#! /usr/bin/env python 
#coding=utf-8 
 
# ============================ 
# Describe : 给平台提供的日志 
# D&P Author By:  常成功 
# Create Date:  2016/08/01 
# Modify Date:  2016/08/01 
# ============================ 
 
import time 
import os 
import logging 
 
 
print "Start test ...." 
s_tm = time.time() 
test_time = 10.0 # 测试时间10秒 
e_tm = s_tm + 10 
j = 0 
 
pid = str(os.getpid()) 
while 1: 
 now_time = time.time() 
 j += 1 
 if now_time > e_tm: 
  break 
 # 生成文件夹 
 lujing = "d:\\test_log" 
 if not os.path.exists(lujing): 
  os.mkdir(lujing) 
 
 fm2 = '%Y%m%d' 
 YMD = time.strftime(fm2, time.localtime(now_time)) 
 
 filename = 'recharge_' + YMD + '.log' 
 log_file = os.path.join(lujing, filename) 
 t = "\t" 
 log_msg = str(j) +t+ str(now_time) +t+ pid 
 
 the_logger = logging.getLogger('recharge_log') 
 f_handler = logging.FileHandler(log_file) 
 the_logger.addHandler(f_handler) 
 the_logger.setLevel(logging.INFO) 
 # To pass exception information, use the keyword argument exc_info with a true value 
 the_logger.info(log_msg, exc_info=False) 
 the_logger.removeHandler(f_handler) 
 
rps = j/test_time 
print rps, "rows per second"

测试结果如下：

Start test ....

2973.0 rows per second