Python 多进程机制与数据传递详解

Python 多进程机制与数据传递详解

Python 不仅线程使用的是系统原生线程，进程同样采用原生进程机制。

进程的使用方式与线程大致相同。

import multiprocessing 
 
p = multiprocessing.Process(target=fun,args=()) 

线程的基本操作方法在进程中同样适用。

然而，进程与线程之间存在一个显著区别：进程能够充分利用多核 CPU 资源。

Python 启动时会创建一个主进程，并包含一个主线程。若将主进程比作一家之主，主线程即为其自身，其他线程则如同家庭成员。而进程可类比为成年的子女，虽然线程不可分割且需保持整体性，但各进程独立运行各自事务，父进程无法直接干预。因此，若单进程仅能占用一个 CPU 核心实现单核运行，通过创建多个进程即可实现多核并行处理。

GIL（全局解释器锁）限制的是单个进程内的线程执行，确保同一时刻只有一个线程运行，从而维持进程内部的秩序。

由于一个进程仅有一把全局锁，线程无法独立并行执行，因此必须将任务打包在进程内统一调度运行。

通过多进程机制，Python 实现了类似其他语言中多线程的优化效果。

数据传递机制

在多线程或多进程协作中，必然涉及协同工作与数据交互，但两者的交互方式存在差异。

为避免阻塞执行流程，数据传递时通常将数据放入队列中，而非直接返回结果。

在线程环境中，由于所有线程共享同一进程地址空间，定义一个全局队列即可在各线程间压入和读取数据。

进程可能运行在不同的 CPU 核心上，因此无法通过全局变量直接共享数据，必须在创建进程时通过参数传入队列。

在内部实现上，传入的队列并非直接传递引用供其他进程直接操作，因为不同进程运行在不同的 CPU 上，内存空间隔离。

队列的传入实际上是队列对象的拷贝过程，通过 pickle 序列化进行拷贝后传入目标进程，随后再通过 pickle 将处理后的数据传回主进程。

import multiprocessing 
 
multiprocessing.Queue() 

线程和进程分别拥有不同的队列对象以实现各自的数据交互模式，二者不可混用。

如有疑问请留言或者到本站社区交流讨论，感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！