Python多进程编程:创建方式、进程池与通信机制详解

顾言
顾言
发布时间:2026-10-13| 5人浏览过
原创

本文深入解析Python中多进程的核心实现,涵盖通过Process类直接创建进程与继承Process子类两种方法。详细讲解利用Pool构建进程池以提升资源利用率,并演示如何使用Queue实现安全的进程间数据通信。通过具体代码示例,帮助开发者掌握Python并发编程的关键技术。

Python多进程的两种创建方式

在Python中,实现多进程主要有两种常见方式。第一种是利用multiprocessing模块中的Process类来实例化进程对象,随后调用start()方法启动。例如,定义一个执行特定功能的函数,将其作为target参数传入Process,即可创建并运行新进程。


from multiprocessing import Process
import time
def test_():
  print '-----test-----'
if __name__ == '__main__':
  p = Process(target=test_)
  p.start()
  while True:
    print '--main--'
    

'''1.通过process 类创建一个进程对象,然后start即可开启进程, test
test_函数是进程实现的功能'''
 
 from multiprocessing import Process
 import time
 class MyNewProcess(Process):
   def run(self):
     print '------run-------'
 if __name__ == '__main__':
   p = MyNewProcess()
   p.start()
   print '---main-----'
 '''2.通过类似继承process  子类中必须有run 方法 里边实现 进程功能 
 创建对象之后 调用start'''

利用进程池Pool管理并发任务

另一种方式是通过继承Process类来自定义进程子类。在这种模式下,必须在子类中重写run()方法,将具体的进程逻辑写入其中。实例化该子类后,同样调用start()方法即可启动进程,这种方式更适合封装复杂的进程行为。


from multiprocessing import Pool
from time import sleep
import os 
def func(num):
  for i in range(3):
    print '%s %s' %(os.getpid(),num) #
    sleep(2)
def main():
  pool = Pool(3)
  for i in range(3, 6):
    res = pool.apply_async(func, (i,))
  pool.close()
  pool.join() 
if __name__ == '__main__':
  main()

基于Queue的进程间通信实现

当需要管理多个进程时,进程池(Pool)是更优的选择。通过创建指定容量的Pool对象,可以使用apply_async()等异步方法提交任务,避免频繁创建销毁进程带来的开销。示例中展示了如何限制进程数量,并通过close()和join()确保所有任务执行完毕,从而高效处理批量计算任务。


'''python 进程间通信   Queue '''

'''1.Queue使用方法
  1.Queue.qsize(): 返回当前队列包含的消息数量
  2.Queue.empty(): 如果队列为空 返回True 反之 False
  3.Queue.full(): 如果队列满了返回True 反之 False
  4.Queue.get():  获取队列中一条消息 然后将其从队列中移除 可传参数 超市时长
  Queue.get_nowait(): 相当于 Queue.get(False) 取不到值 触发异常
  Queue.put(): 将一个值添加到数列 可传参数 超时时长
  Queue.put_nowait():相当于 Queue.get(False) 当队列满时 报错
'''
from multiprocessing import Process, Queue
import time
q = Queue() # 创建队列
for i in range(10):
  q.put(i)    
def test_a():
    try:
      while True:
        num = q.get_nowait()
        print '我是进程a 取出数字为:%s'%num
        time.sleep(1)
    except Exception, e:
      print e
def test_b():
  try:
    while True:
      num = q.get_nowait()
      print '我是进程b 取出数字是:%s'%num
      time.sleep(1)
  except Exception, e:
    print e
if __name__ == '__main__':
  p1 = Process(target=test_a)
  p2 = Process(target=test_b)
  p1.start()
  p2.start()

进程间通信(IPC)是并发编程中的关键环节,Python推荐使用Queue类来实现。Queue提供了put()和get()方法,支持在进程间安全地传递数据。通过示例可以看到,多个进程可以同时从同一个Queue中获取数据,利用get_nowait()配合异常处理,可以灵活控制读取逻辑,避免阻塞。

至此,关于Python多进程的基本使用介绍完毕。希望上述内容能帮助您更好地理解进程创建、池化管理及通信机制,如有更多疑问欢迎继续交流。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。