Python多线程退出控制：守护线程机制与风险解析

日常前言

多线程控制的挑战

近期承接了一项抢票爬虫的外包项目。该目标网站架构较为简陋，访问购票接口甚至需要排队，在购票高峰期临时提升服务器配置显然不现实。尽管甲方要求必须执行，我们仍需应对后端对访问频次的限制。针对这一限制，我们采用了多线程 + 多代理的策略进行访问。

然而，多代理方案相对容易实现，只需编写爬虫批量抓取即可；多线程方案则复杂得多。一旦线程启动，往往处于失控状态，无法直接结束或重启线程，仅能获取其状态信息而缺乏实际控制权。此外，Python官方并未提供直接结束线程的内置函数。接下来，我们将深入探讨解决这一问题的思路。

单线程的结束

在编程领域，善用搜索引擎是一种优秀习惯，这也催生了那张著名的表情包。

但在此案例中，搜索引擎的结果并不理想。经过长时间搜索，发现绝大多数结果仅提供了结束单个线程的方法。尝试循环调用这些方法后，发现只能终止当前线程，无法达到批量控制的目标。

贴一段搜到的单线程结束代码示例

def _async_raise(tid, exctype):
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
  exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
  raise ValueError("invalid thread id")
 elif res != 1:
  ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  raise SystemError("PyThreadState_SetAsyncExc failed")
  
def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)

那么，如何结束多个线程呢？

利用守护线程实现批量退出

既然常规搜索无果，便需自行探索。查阅Python threading模块的官方文档时，daemon属性引起了注意。该词译为“守护进程”，想必大家对此概念并不陌生。以下是官方释义，其核心含义是：若在启动线程前将此属性设为True，当父进程结束时，所有子进程将随之全部结束。这为解决上述问题提供了可行方案，接下来查看具体代码。

daemon A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

完整代码

import threading,time,random

class Messy:
 def __init__(self):
  self.__messy = 0

 def m(self,i):
		# 随机时间进行打印
  time.sleep(random.random()*2)
  print(i)
  if i == 1:
   self.__messy = 1

 def main(self):
  Threads = []
  # 将会启动10个线程,线程id为 1 时全部线程终止！
  for i in range(10):
   t = threading.Thread(target=self.m,args=(i,))
   t.daemon = 1
   Threads.append(t)
  # 启动所有线程
  for i in Threads:
   i.start()
  # 当标志位【 messy 】时所有多线程结束
  while 1:
   if self.__messy:
    break
  print('线程已退出!')

Messy().main()
# 继续执行后续程序
for i in range(5):
 print('yeah!')

此时，main函数在多线程语境下充当父进程（即守护进程）的角色。代码预计执行10次循环打印数字，但当self.__messy标志位为真时，所有剩余子线程将不再执行，直接结束并进入后续操作。

e.g:如下图便只打印了四次

最后

目前来看，通过设置主线程退出的方法，可以完成当前的抢票任务目标。

强制退出的潜在风险与建议

然而，后续发现这种做法存在诸多弊端。直接强制终止所有子线程对系统而言是一种粗鲁的行为。若涉及文件数据、数据库数据的修改，内存可能无法被合理释放（此前曾遇到过CPU占用率莫名满额的情况），这极有可能造成数据丢失甚至系统中断。

本例仅为一个小型抢票程序，子线程仅使用了POST网络请求，中断带来的影响相对较小。因此，建议大家根据具体场景酌情使用本文介绍的方法。

本文作者: Messy 原文链接:https://www.messys.top/detail/78

到此这篇关于Python多线程的退出控制实现的文章就介绍到这了,更多相关Python多线程退出控制内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！