Python多线程实战:利用Queue实现生产者消费者模型
本文通过Python 3.4环境下的完整代码示例,详细解析如何利用threading和queue模块实现经典的生产者消费者模型。文章展示了1个生产者与2个消费者线程的协作过程,重点介绍了Queue类的常用方法如qsize、put、get及task_done,帮助开发者掌握基于队列的线程同步技巧。
详解Python多线程实战:利用Queue实现生产者消费者模型
本文以Python 3.4为运行环境,通过一个具体的代码案例来演示生产者与消费者模式的实现。该示例主要涉及线程管理、队列操作以及循环控制等核心概念,具体源码如下所示:
Python代码实现
import queue
import time
import threading
import random
q=queue.Queue(5)
#生产者
def pr():
name=threading.current_thread().getName()
print(name+"线程启动......")
for i in range(100):
t=random.randint(2,9)
print(name,"睡眠时间: ",t)
time.sleep(t);
d="A"+str(i)
print(name+"正在存第",i+1,"个数据: ",d)
#q.put("A"+str(i),False,2000)
q.put(d)
print("生产完毕!")
#消费者
def co():
name=threading.current_thread().getName()
time.sleep(1)
print(name+"线程启动......")
while True:
print(name+"检测到队列数量: ",q.qsize())
t=random.randint(2,9)
print(name,"睡眠时间: ",t)
data=q.get();
print(name+"消费一个数据: ",data)
p=threading.Thread(target=pr,name="生产者")
c=threading.Thread(target=co,name="消费者1")
c2=threading.Thread(target=co,name="消费者2")
p.start()
c.start()
c2.start()
在此示例中,程序启动了一个生产者线程和两个消费者线程,运行时的打印输出效果如下:
Python代码实现
生产者线程启动...... 生产者 睡眠时间: 4 消费者1线程启动...... 消费者1检测到队列数量: 0 消费者1 睡眠时间: 2 消费者2线程启动...... 消费者2检测到队列数量: 0 消费者2 睡眠时间: 3 生产者正在存第 1 个数据: A0 生产者 睡眠时间: 9 消费者1消费一个数据: A0 消费者1检测到队列数量: 0 消费者1 睡眠时间: 8 生产者正在存第 2 个数据: A1 生产者 睡眠时间: 5 消费者2消费一个数据: A1 消费者2检测到队列数量: 0 消费者2 睡眠时间: 7 生产者正在存第 3 个数据: A2 生产者 睡眠时间: 8 消费者1消费一个数据: A2 消费者1检测到队列数量: 0 消费者1 睡眠时间: 2 生产者正在存第 4 个数据: A3 生产者 睡眠时间: 7 消费者2消费一个数据: A3 消费者2检测到队列数量: 0 消费者2 睡眠时间: 9 生产者正在存第 5 个数据: A4 生产者 睡眠时间: 2 消费者1消费一个数据: A4 消费者1检测到队列数量: 0 消费者1 睡眠时间: 5 生产者正在存第 6 个数据: A5 生产者 睡眠时间: 5 消费者2消费一个数据: A5 消费者2检测到队列数量: 0 消费者2 睡眠时间: 6 生产者正在存第 7 个数据: A6 生产者 睡眠时间: 7 消费者1消费一个数据: A6 消费者1检测到队列数量: 0 消费者1 睡眠时间: 7 生产者正在存第 8 个数据: A7 生产者 睡眠时间: 3 消费者2消费一个数据: A7 消费者2检测到队列数量: 0 消费者2 睡眠时间: 8 生产者正在存第 9 个数据: A8 生产者 睡眠时间: 2 消费者1消费一个数据: A8 消费者1检测到队列数量: 0 消费者1 睡眠时间: 4 生产者正在存第 10 个数据: A9 生产者 睡眠时间: 4 消费者2消费一个数据: A9 消费者2检测到队列数量: 0 消费者2 睡眠时间: 5 生产者正在存第 11 个数据: A10 生产者 睡眠时间: 2 消费者1消费一个数据: A10 消费者1检测到队列数量: 0 消费者1 睡眠时间: 3 生产者正在存第 12 个数据: A11 生产者 睡眠时间: 3 消费者2消费一个数据: A11 消费者2检测到队列数量: 0 消费者2 睡眠时间: 3 生产者正在存第 13 个数据: A12 生产者 睡眠时间: 3 消费者1消费一个数据: A12 消费者1检测到队列数量: 0 消费者1 睡眠时间: 3 生产者正在存第 14 个数据: A13 生产者 睡眠时间: 8 消费者2消费一个数据: A13 消费者2检测到队列数量: 0 消费者2 睡眠时间: 7 生产者正在存第 15 个数据: A14 生产者 睡眠时间: 3 消费者1消费一个数据: A14 消费者1检测到队列数量: 0 消费者1 睡眠时间: 7 生产者正在存第 16 个数据: A15 生产者 睡眠时间: 2 消费者2消费一个数据: A15 消费者2检测到队列数量: 0 消费者2 睡眠时间: 9
通过本例可以看出,利用队列进行线程间的同步操作既简单又高效。此外,Queue模块还提供了一些便捷的方法供开发者使用:
以下是对该模块中常用方法的详细介绍:
Queue.qsize() 返回队列的大小 Queue.empty() 如果队列为空,返回True,反之False Queue.full() 如果队列满了,返回True,反之False Queue.full 与 maxsize 大小对应 Queue.get([block[, timeout]])获取队列,timeout等待时间 Queue.get_nowait() 相当Queue.get(False) 非阻塞 Queue.put(item) 写入队列,timeout等待时间 Queue.put_nowait(item) 相当Queue.put(item, False) Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空,再执行别的操作
以上就是关于Python模拟实现生产者消费者模式的详细解析。如果在阅读过程中有任何疑问,欢迎留言或前往社区交流讨论。希望本文能对大家有所帮助,感谢阅读及支持!
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









