Python multiprocessing Pool apply_async 详解与多参数处理技巧

apply_async简介

当Python程序在单线程中多次执行耗时较长且相互独立的同一方法时，若仅在主进程中串行执行，整体效率会显著降低。为此，可借助multiprocessing.Pool(processes=n)配合apply_async()方法来实现并行处理，其中processes参数指定了并发执行的进程数量，从而有效提升程序运行效率。

apply_async使用简明代码

import multiprocessing
#method为多次调用的方法
def method(param):
 pass
if __name__ == '__main__':
 pool = multiprocessing.Pool(processes=5)
 params= ['param1', 'param2', 'param3', 'param4', 'param5']
 for param in params:
  pool.apply_async(method, args=(param, )) 
 pool.close()

使用总结：

apply_async采用异步非阻塞模式，调用后无需等待当前进程执行完毕即可返回，操作系统可根据调度策略随时进行进程切换。这种机制允许多个进程并行执行，从而显著提高程序的执行效率。

补充：记录python multiprocessing Pool的map和apply_async方法

遇到的问题

在学习Python多进程编程时，若进程运行的方法需要接收多个参数并返回多个结果，常会遇到参数传递的问题。经过实践与学习，现将相关解决方案总结如下。

Pool.map()多参数任务

直接给map方法传入接收多个参数的函数无法达到预期效果，例如尝试直接传递多个独立参数时会报错。

def job(x ,y):
 return x * y
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job, 2, 3)
 print res

因此，正确的做法是对包含多个参数的函数进行封装，在进程中运行封装后的函数。

def job(x ,y):
 return x * y
def job1(z):
 return job(z[0], z[1])
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job1, [(2, 3), (3, 4)])
 print res

通过上述封装方式，即可成功传递多个参数。

注意：如果需要获取多个结果，可以将多个元组放入一个列表中作为参数传入。

Pool.apply_async()输出多个迭代结果

在使用apply_async()方法处理接收多个参数的函数时，只需在任务函数中正常定义多个参数，并以元组形式传入参数即可。

然而，若直接给apply_async()传入多个值以获取多个迭代结果，会因该方法仅接收单个值而报错。解决方法是将该方法调用放入列表生成式中，如代码所示。

def job(x):
 return x * x
if __name__ == "__main__":
 pool multiprocessing.Pool()
 res = [pool.apply_async(target=job, (i,)) for i in range(3)]
 print [r.get() for r in res]

Python 3中提供了starmap和starmap_async两个方法，可直接支持多参数传递。

以上为个人经验总结，希望能给大家一个参考，也希望大家多多支持本站。如有错误或未考虑完全的地方，望不吝赐教。