Python Queue模块详解:创建、操作与多线程应用

码头散步
码头散步
发布时间:2026-10-12| 6人浏览过
原创

本文详解Python中Queue模块的核心用法,涵盖FIFO、LIFO及优先级队列的创建与区别。深入解析put()与get()方法的block参数对线程阻塞行为的影响,并列举qsize、empty等常用状态检查方法。最后通过生产者-消费者多线程示例,展示如何在实际开发中利用Queue实现线程间数据交换与同步。

在Python程序中,队列是线程间交换数据最常用的机制。Queue模块提供了这一功能,尽管其接口简洁易用,但若使用不当,仍可能引发一些意外情况。

创建队列对象需导入Queue模块并实例化Queue类。例如:import Queue; q = Queue.Queue(maxsize=10)。Queue类实现了同步队列,其长度可设为无限或指定最大值。通过构造函数的maxsize参数控制长度,若该值小于1,则代表队列长度无限制。

向队列插入数据使用put()方法,如q.put(10)。该方法在队尾添加元素,包含两个参数:item为必填项,表示插入的值;block为可选参数,默认为1。当队列为空且block为1时,put()会阻塞调用线程,直到队列中有可用空间;若block设为0,且队列已满,则直接抛出Full异常。

从队列取出数据使用get()方法,如q.get()。该方法从队头移除并返回一个元素。其block参数默认为True。若队列为空且block为True,get()会阻塞线程直至有元素可用;若block为False且队列为空,则抛出Empty异常。

Python Queue模块提供三种队列类型及其构造函数:1. FIFO队列(先进先出),类名为Queue.Queue(maxsize);2. LIFO队列(后进先出,类似堆栈),类名为Queue.LifoQueue(maxsize);3. 优先级队列,级别越低越优先出队,类名为Queue.PriorityQueue(maxsize)。

Queue对象(q = Queue.Queue())常用方法包括:q.qsize()返回队列当前大小;q.empty()判断队列是否为空,空则返回True,否则False;q.full()判断队列是否已满,满则返回True,否则False,其状态与maxsize参数对应;q.get([block[, timeout]])获取元素,支持阻塞及超时设置;q.get_nowait()等效于q.get(False),即非阻塞获取;q.put(item)写入元素,支持阻塞及超时;q.put_nowait(item)等效于q.put(item, False),即非阻塞写入;q.task_done()用于标记某项任务已完成,向队列发送完成信号;q.join()阻塞直到队列中所有已处理的任务均收到task_done()信号后才继续执行。

示例场景:实现一个线程持续生成随机数并存入队列(建议使用Queue模块);另一个线程从队列中不断取出奇数;第三个线程从队列中不断取出偶数。

#!/usr/bin/env python
#coding:utf8
import random,threading,time
from Queue import Queue
#Producer thread
class Producer(threading.Thread):
  def __init__(self, t_name, queue):
    threading.Thread.__init__(self,name=t_name)
    self.data=queue
  def run(self):
    for i in range(10):  #随机产生10个数字 ,可以修改为任意大小
      randomnum=random.randint(1,99)
      print "%s: %s is producing %d to the queue!" % (time.ctime(), self.getName(), randomnum)
      self.data.put(randomnum) #将数据依次存入队列
      time.sleep(1)
    print "%s: %s finished!" %(time.ctime(), self.getName())
 
#Consumer thread
class Consumer_even(threading.Thread):
  def __init__(self,t_name,queue):
    threading.Thread.__init__(self,name=t_name)
    self.data=queue
  def run(self):
    while 1:
      try:
        val_even = self.data.get(1,5) #get(self, block=True, timeout=None) ,1就是阻塞等待,5是超时5秒
        if val_even%2==0:
          print "%s: %s is consuming. %d in the queue is consumed!" % (time.ctime(),self.getName(),val_even)
          time.sleep(2)
        else:
          self.data.put(val_even)
          time.sleep(2)
      except:   #等待输入,超过5秒 就报异常
        print "%s: %s finished!" %(time.ctime(),self.getName())
        break
class Consumer_odd(threading.Thread):
  def __init__(self,t_name,queue):
    threading.Thread.__init__(self, name=t_name)
    self.data=queue
  def run(self):
    while 1:
      try:
        val_odd = self.data.get(1,5)
        if val_odd%2!=0:
          print "%s: %s is consuming. %d in the queue is consumed!" % (time.ctime(), self.getName(), val_odd)
          time.sleep(2)
        else:
          self.data.put(val_odd)
          time.sleep(2)
      except:
        print "%s: %s finished!" % (time.ctime(), self.getName())
        break
#Main thread
def main():
  queue = Queue()
  producer = Producer('Pro.', queue)
  consumer_even = Consumer_even('Con_even.', queue)
  consumer_odd = Consumer_odd('Con_odd.',queue)
  producer.start()
  consumer_even.start()
  consumer_odd.start()
  producer.join()
  consumer_even.join()
  consumer_odd.join()
  print 'All threads terminate!'
 
if __name__ == '__main__':
  main()
相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。