Python线程安全队列与优先级队列实现详解

桃夭

发布时间：2026-10-14| 4人浏览过

原创

本文详解Python Queue模块中的FIFO、LIFO及PriorityQueue类，阐述其线程安全特性与常用方法如qsize、get、put等。通过实例展示如何利用heapq模块构建自定义优先级队列，实现按优先级排序的元素弹出，适用于多线程环境下的任务调度与同步场景。

Python标准库中的Queue模块提供了多种同步且线程安全的队列实现，主要包括遵循先进先出（FIFO）原则的Queue类、遵循后进先出（LIFO）原则的LifoQueue类，以及支持按优先级排序的PriorityQueue类。

1、说明

上述所有队列类内部均实现了锁原语，因此可直接在多线程环境中安全使用，常被用于实现线程间的数据同步与通信。

模块中常用的核心方法包括：

Queue.qsize()：用于返回当前队列中元素的数量。
Queue.empty()：若队列为空则返回True，否则返回False。
Queue.full()：若队列已满则返回True，否则返回False。
Queue.full()的判定结果与初始化时设定的maxsize参数直接相关。
Queue.get([block[, timeout]])：从队列中获取并移除一个元素；若block为真（默认）且timeout未指定或为正数，则在队列非空前阻塞等待，timeout指定最大等待秒数。
Queue.get_nowait()：等效于调用Queue.get(False)，即非阻塞模式，若队列立即为空则抛出Empty异常。
Queue.put(item)：将元素写入队列；若block为真且timeout未指定或为正数，则在队列满时阻塞等待，timeout指定最大等待秒数。
Queue.put_nowait(item)：等效于调用Queue.put(item, False)，即非阻塞模式，若队列立即满则抛出Full异常。
Queue.task_done()：在处理完一项任务后调用，向队列发送一个信号，表明该任务已完成。
Queue.join()：阻塞调用线程，直到队列中所有已加入的任务都被处理完毕（即task_done被调用次数与put次数相等），之后方可执行后续操作。

2、实例


#!/usr/bin/python3
import queue
import threading
import time
exitFlag = 0
class myThread (threading.Thread):
  def __init__(self, threadID, name, q):
    threading.Thread.__init__(self)
    self.threadID = threadID
    self.name = name
    self.q = q
  def run(self):
    print ("开启线程：" + self.name)
    process_data(self.name, self.q)
    print ("退出线程：" + self.name)
def process_data(threadName, q):
  while not exitFlag:
    queueLock.acquire()
    if not workQueue.empty():
      data = q.get()
      queueLock.release()
      print ("%s processing %s" % (threadName, data))
    else:
      queueLock.release()
    time.sleep(1)
threadList = ["Thread-1", "Thread-2", "Thread-3"]
nameList = ["One", "Two", "Three", "Four", "Five"]
queueLock = threading.Lock()
workQueue = queue.Queue(10)
threads = []
threadID = 1
# 创建新线程
for tName in threadList:
  thread = myThread(threadID, tName, workQueue)
  thread.start()
  threads.append(thread)
  threadID += 1
# 填充队列
queueLock.acquire()
for word in nameList:
  workQueue.put(word)
queueLock.release()
# 等待队列清空
while not workQueue.empty():
  pass
# 通知线程是时候退出
exitFlag = 1
# 等待所有线程完成
for t in threads:
  t.join()
print ("退出主线程")

知识点扩展：

问题

如何构建一个按优先级排序的队列，并确保每次pop操作总是返回优先级最高的元素？

解决方案

以下代码利用Python内置的heapq模块实现了一个简单的优先级队列类：


import heapq

class PriorityQueue:
 def __init__(self):
 self._queue = []
 self._index = 0

 def push(self, item, priority):
 heapq.heappush(self._queue, (-priority, self._index, item))
 self._index += 1

 def pop(self):
 return heapq.heappop(self._queue)[-1]

以下是该优先级队列的具体使用示例：


>>> class Item:
... def __init__(self, name):
...  self.name = name
... def __repr__(self):
...  return 'Item({!r})'.format(self.name)
...
>>> q = PriorityQueue()
>>> q.push(Item('foo'), 1)
>>> q.push(Item('bar'), 5)
>>> q.push(Item('spam'), 4)
>>> q.push(Item('grok'), 1)
>>> q.pop()
Item('bar')
>>> q.pop()
Item('spam')
>>> q.pop()
Item('foo')
>>> q.pop()
Item('grok')
>>>

至此，关于Python线程优先级队列的核心知识点介绍完毕。如需了解更多相关内容，可搜索本站历史文章或继续浏览后续教程，感谢支持！