Python多进程Manager共享可变数据陷阱与解决方案

Manager支持的数据类型

Manager支持的数据类型包括

list、dict、Namespace、Lock、RLock、Semaphore、BoundedSemaphore、Condition、Event、Queue、Value和Array。

可变对象修改陷阱与__setitem__机制

然而，在使用Manager处理list或dict等可变数据类型时，存在一个常见陷阱：Manager对象无法自动监测到其引用的可变对象内部值的修改，必须通过显式触发__setitem__方法来通知Manager更新状态。

触发__setitem__方法最直观的做法是引入一个中间变量，类似于C语言中交换两个变量值的逻辑：

int a=1;int b=2;int tmp=a;a=b;b=tmp;

以下是Python中的具体示例：

from multiprocessing import Manager,Process
def test_manager():
　　m[0]['id'] = 2
m = Manager().list()
m.append({"id":1})
p = Process(target=test_manager)
p.start()
p.join()
print m[0]

执行结果如下：

{"id":1}

数据并未发生改变。

对test_manager()函数进行修改后：

def test_manager():
 tmp = m[0]
 tmp{"id"} = 2
 m[0] = tmp

此时的执行结果变为：

{"id":2}

进程对象序列化要求

此外，对于Process对象，需确保传递的对象支持pickle序列化。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。