利用py-spy定位并解决Scrapy爬虫进程卡死问题

背景与问题现象

背景

在使用Scrapy进行数据采集时，通常通过crontab定时启动爬虫任务。然而实践中常遇到机器上堆积大量处于僵死状态的Scrapy进程。若长时间不干预，可能导致十余个进程同时卡死，进而引发数据产出严重延迟。

问题定位

使用py-spy定位性能瓶颈

为解决此类性能瓶颈，引入py-spy这一高效的Python性能分析工具。该工具功能类似于Unix下的top命令，能够实时监控Python进程的函数调用耗时。通过它我们可以观察是哪个具体函数在持续占用资源。

首先安装这个工具

pip install py-spy

用py-spy看看scrapy哪个函数执行时间长

# 先找到这个卡死的scrapy进程的pid
ps -ef |grep scrapy 
# 启动 py-spy 观察这进程
py-spy top --pid 53424

在py-spy界面中，按下数字键3，按OwnTime（函数自身执行时间）进行排序。结果显示read函数的执行时间最长，这表明问题很可能源于IO操作。程序中的IO行为主要涉及磁盘读写和网络IO，鉴于磁盘读写通常较为稳定，初步判断为网络IO阻塞所致。

为进一步确认，再次按下数字键4，按TotalTime（所有子函数执行时间总和）进行排序。结果显示process_item、download以及upload_image等主流程函数耗时较长。分析业务逻辑可知，这些函数涉及将图片下载至本地并上传至图床的过程。由此推断，问题出在从网络读取数据（read）的阶段，需进一步追踪相关代码。

代码分析与问题根因

看下download的函数的代码：

if filename == '':
      filename = os.path.basename(url)
    path = path + '/' + filename
    
    try:
      res = request.urlretrieve(url,filename=path)
      print(url,res)
      return path
    except Exception as e:
      print('download img failed')
      print(e)
      return False

观察相关代码发现，下载模块使用了urllib库中的request.urlretrieve函数。查阅Python官方文档可知，该函数并未提供超时时间（timeout）参数。由于缺乏超时机制，当网络响应缓慢或中断时，程序会无限期等待read操作，从而导致进程卡死。

urllib.request.urlretrieve(url, filename=None,reporthook=None,data=None)

解决方案与代码实现

解决方案

改用支持超时设置的urlopen函数来替代原有的下载方式。通过封装一个自定义的url_retrieve函数，显式指定timeout参数（例如5秒），从而避免因无超时限制导致的进程阻塞问题。

def url_retrieve(self,url, path):
    r = request.urlopen(url, timeout=5)
    res = False
    with open(path,"wb") as f:
      res = f.write(r.read())
      f.flush()
      f.close()
    return res

到此这篇关于使用py-spy解决scrapy卡死的问题方法的文章就介绍到这了,更多相关scrapy卡死内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！