Python multiprocessing模块:进程创建、参数传递与同步机制详解

码头散步
码头散步
发布时间:2026-10-15| 3人浏览过
原创

本文详解Python中multiprocessing模块的Process类用法,涵盖进程创建、target与args参数传递、多进程并发启动及join同步阻塞机制。重点解析start异步与join同步的区别,以及Windows平台下必须使用if __name__ == '__main__':避免无限递归创建进程的原理与最佳实践。

process模块

process模块是Python中用于创建和管理子进程的核心模块,通过该模块可以实现多进程并发执行任务。

参数介绍:


Process(group=None, target=None, name=None, args=(), kwargs={})
​
1 group——参数未使用,值始终为None
2 target——表示调用对象,即子进程要执行的任务
3 args——表示调用对象的位置参数元组,args=(1,2,'egon',)
4 kwargs——表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name——为子进程的名称

方法介绍:


obj.start():启动进程,并调用该子进程中的obj.run()
obj.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
obj.terminate():强制终止进程obj,不会进行任何清理操作,如果obj创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果obj还保存了一个锁那么也将不会被释放,进而导致死锁
obj.is_alive():如果obj仍然运行,返回True
obj.join([timeout]):主线程等待obj终止(强调:是主线程处于等的状态,而obj是处于运行的状态)。timeout是可选的超时时间,需要强调的是,obj.join只能join住start开启的进程,而不能join住run开启的进程

属性介绍:


obj.daemon:默认值为False,如果设为True,代表obj为后台运行的守护进程,当obj的父进程终止时,obj也随之终止,并且设定为True后,obj不能创建自己的新进程,必须在obj.start()之前设置
obj.name:进程的名称
obj.pid:进程的pid
obj.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
obj.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

1、在python中启动一个子进程


from multiprocessing import Process
import os
​
def func():
    print('这是一个子进程——>进程号:', os.getpid(), '  主进程号:', os.getppid())
​
​
if __name__ == '__main__':
    print('这是主进程——>进程号:', os.getpid(), '  主进程号(pycharm):', os.getppid())
    # 实例化一个子进程对象
    obj = Process(target=func)
    obj.start()     # 执行子进程对象
    print('执行了完了主进程的内容')
​
# 输出
这是主进程——>进程号: 3100   主进程号(pycharm): 6748
执行了完了主进程的内容
这是一个子进程——>进程号: 2392   主进程号: 3100

2、给子进程传递参数


from multiprocessing import Process
import os
​
​
def func(name, age):
    print('这是一个子进程——>进程号:', os.getpid(), '  主进程号:', os.getppid())
    print(f'这是一个子进程——>我的名字是{name},今年{age}')
​
​
if __name__ == '__main__':
    print('这是主进程——>进程号:', os.getpid(), '  主进程号(pycharm):', os.getppid())
    # 实例化一个子进程对象
    obj = Process(target=func, args=('小杨', '18')) # args以元组的形式给子进程func函数传位置参数
                               # kwargs以字典的形式给子进程func函数传关键字参数
                               # kwargs={'name': '小杨', 'age': 18}
    obj.start()     # 执行子进程对象
    print('执行了完了主进程的内容')
    
# 输出
这是主进程——>进程号: 11936   主进程号(pycharm): 3676
执行了完了主进程的内容
这是一个子进程——>进程号: 2996   主进程号: 11936
这是一个子进程——>我的名字是小杨,今年18

3、同时开多个子进程


from multiprocessing import Process
import os
​
​
def func(name, age):
    print(f'这是一个子进程——>进程号:{os.getpid()},主进程号:{os.getppid()},我的名字是{name},今年{age}')
​
​
if __name__ == '__main__':
    print('这是主进程——>进程号:', os.getpid(), '  主进程号(pycharm):', os.getppid())
    count = [('小杨', 18), ('鲍勃', 20), ('艾伦', 55)]
    for lis in count:
        # 实例化一个子进程对象
        obj = Process(target=func, args=lis)   # args以元组的形式给子进程func函数传位置参数
        obj.start()     # 执行子进程对象
    print('执行了完了主进程的内容')
    
# 输出
这是主进程——>进程号: 12632   主进程号(pycharm): 9220
执行了完了主进程的内容
这是一个子进程——>进程号:10048,主进程号:12632,我的名字是小杨,今年18
这是一个子进程——>进程号:16032,主进程号:12632,我的名字是鲍勃,今年20
这是一个子进程——>进程号:12060,主进程号:12632,我的名字是艾伦,今年55

4、join的用法

obj.join([timeout]):该方法用于主进程等待子进程obj终止。需特别注意,此处处于等待状态的是主进程,而子进程obj处于运行状态。timeout参数为可选的超时时间。关键点在于,obj.join只能等待通过start()方法启动的进程,若进程是通过直接调用run()方法启动的,则join无法生效。

多个进程同时运行时,子进程的实际执行顺序并不取决于它们的启动顺序,而是由操作系统调度决定。

join——>属于同步阻塞:

同步:在执行事件A的过程中发起事件B,必须等待事件B执行完毕后,才能继续执行事件A。

阻塞:指CPU在此阶段不执行其他任务,通常发生在I/O操作期间,如input、accept、recv、recvfrom、sleep、connect等调用。

start——>属于异步非阻塞:

异步:在执行事件A的过程中发起事件B,无需等待事件B结束,即可继续执行事件A。

非阻塞:指CPU处于工作状态,主要指非I/O操作的计算阶段。


from multiprocessing import Process
import random
import time
​
​
def mail(name, age):
    count = random.random()
    print(f'给{age}岁的{name}发了一封邮件!延迟{count}秒')
    time.sleep(count)      # 模拟网络延迟
    """
    多个进程同时运行(注意,子进程的执行顺序不是根据启动顺序决定的)
    """
​
​
if __name__ == '__main__':
    info_list = [('小杨', 18), ('鲍勃', 20), ('艾伦', 55)]
    jo = []
    for info in info_list:
        obj = Process(target=mail, args=info)
        obj.start()
        jo.append(obj)
​
    # 将所有的子进程全部放入jo列表,在循环join所有子进程,就能等待所有子进程结束后在做操作
    for o in jo:
        o.join()
​
    # 所有的子进程结束的操作
    print('全部发送完毕')
    
# 输出
给20岁的鲍勃发了一封邮件!延迟0.19840279388911186秒
给18岁的小杨发了一封邮件!延迟0.8891892863366903秒
给55岁的艾伦发了一封邮件!延迟0.0434307277609951秒
全部发送完毕

5、多进程之间的数据是否隔离


from multiprocessing import Process
​
count = 1
​
def func():
    global count
    count += 1
​
if __name__ == '__main__':
    for i in range(10):
        obj = Process(target=func)
        obj.start()
    print(count)        # ————>1 主进程的count没有被改变说明进程之间的数据时隔离的
    
# 输出
1

6、为什么在Windows中Process()必须放到if __name__ == '__main__':下

由于Windows操作系统没有fork系统调用,multiprocessing模块通过启动一个新的Python解释器进程并导入当前模块来创建子进程。

如果在模块导入阶段直接调用Process(),会导致新进程再次导入该模块并再次调用Process(),从而引发无限递归创建新进程,直到耗尽系统资源。

使用if __name__ == '__main__':语句正是为了隐藏对Process()的内部调用。该条件判断中的代码仅在脚本直接运行时执行,而在被其他模块导入时不会执行,从而避免无限递归。

以上就是python process模块的使用简介的详细内容,更多关于python process模块的使用的资料请关注本站其它相关文章!

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。