Python3爬虫中GIL对多线程的影响及多核利用方案

Python多线程与CPU利用率概述

启动程序后，观察电脑内存与CPU状态可知，我们通常期望内存占用最小化，同时最大化CPU利用率。那么，是否存在方法使CPU保持满载运行？在深入具体实现前，我们先梳理操作逻辑，并通过代码对比来验证不同方案的效果。

GIL机制对多线程的限制

以4核CPU为例，常规理解下，单位时间内每个核心可执行一个线程，通过时间片轮转实现切换。然而Python机制不同：无论拥有多少核心，单位时间内所有核心仅能执行一个线程，同样依赖时间片轮转。这看似反直觉，实则是GIL（全局解释器锁）所致。任何Python线程执行前必须获取GIL锁，每执行100条字节码后，解释器自动释放GIL，允许其他线程执行。该锁实际上限制了所有线程并发执行代码的能力，导致Python多线程只能交替执行。即便100个线程运行在100核CPU上，也仅能利用单核。目前主流解释器为官方CPython，若要真正发挥多核优势，需重写不带GIL的解释器。我们可以进行如下实验：

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
from multiprocessing import Process
def loop():
  while True:
    pass
if __name__ == '__main__':
  for i in range(3):
    t = Thread(target=loop)
    t.start()
  while True:
    pass

测试环境为4核CPU，开启4个线程，观察CPU资源占用率：

结果显示，CPU利用率并未满载，大致仅相当于单核水平。

若改用进程方式处理呢？

调整代码如下：

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
from multiprocessing import Process
def loop():
  while True:
    pass
if __name__ == '__main__':
  for i in range(3):
    t = Process(target=loop)
    t.start()
    Pass

结果CPU利用率直接飙升至100%，证实进程模式可以有效利用多核资源。

以上为Python3爬虫中GIL对多线程影响的实例解析，更多关于Python3爬虫中GIL修改多线程的资料，请关注本站其他相关文章！