Python subprocess.Popen子进程管道阻塞原因及临时文件解决方案

沿途有光

发布时间：2026-10-13| 2人浏览过

原创

本文详解Python中subprocess.Popen因管道缓冲区满导致的子进程阻塞问题。通过对比原始代码与使用tempfile.TemporaryFile的改进方案，解析缓冲区机制，并提供避免阻塞的实用代码示例，帮助开发者高效处理子进程输出。

问题产生描述

在利用子进程处理大型日志文件并进行分析查询的场景中，通常需要等待子进程执行完毕后获取其输出结果，以便进行后续的处理步骤。

出问题的代码

# 启用子进程执行外部shell命令
def __subprocess(self,cmd):
 try:
 # 执行外部shell命令， 输出结果输出管道
 p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) 
 p.wait()

 # 从标准输出读出shell命令的输出结果
 #rt = p.stdout.read().decode()

 # 以换行符拆分数据，并去掉换行符号存入列表
 rt_list = rt.strip().split('\n')

 except Exception as e:
 if(DEBUG):
  print(traceback.format_exc())

 return rt_list

问题分析

子进程产生的数据会先被缓冲区（buffer）缓存，当缓冲区填满后，数据才会写入子进程的标准输出（stdout）和标准错误（stderr），并通过管道传递给父进程。如果管道缓冲区已满，子进程将停止写入数据，从而导致程序卡死。只要及时读取管道中的输出内容，即可避免这种阻塞情况的发生。

然而，本例采用的方案是使用临时文件来接收子进程的输出。由于临时文件存储在磁盘上，因此不受内存缓冲区大小的限制。此外，当文件对象被关闭后，占用磁盘的空间也会随之释放。

已改进的代码

import tempfile
# 启用子进程执行外部shell命令
def __subprocess(self,cmd):
 try:
 # 得到一个临时文件对象， 调用close后，此文件从磁盘删除
 out_temp = tempfile.TemporaryFile(mode='w+')
 # 获取临时文件的文件号
 fileno = out_temp.fileno()

 # 执行外部shell命令， 输出结果存入临时文件中
 p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno) 
 p.wait()

 # 从临时文件读出shell命令的输出结果
 out_temp.seek(0)
 rt = out_temp.read()

 # 以换行符拆分数据，并去掉换行符号存入列表
 rt_list = rt.strip().split('\n')

 except Exception as e:
 if(DEBUG):
  print(traceback.format_exc())

 finally:
 if out_temp:
  out_temp.close()

 return rt_list

以上这篇关于Python subprocess.Popen子进程管道阻塞的详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持本站。