Scrapy Spider传递参数的两种核心方法详解

青禾

发布时间：2026-10-14| 4人浏览过

原创

本文详解Scrapy中向Spider传递参数的两种主流方法。第一种通过命令行crawl命令的-a选项传入参数，并在Spider构造函数中接收；第二种通过scrapyd调度schedule.json接口使用-d选项添加参数。此外，还介绍了利用Request的meta属性在页面解析间传递数据的技巧，帮助开发者灵活控制爬虫行为。

Scrapy Spider传参概述

在实际项目中，我们常需根据具体需求向Spider传递参数以调控其运行逻辑，例如依据用户提交的URL来限定爬取范围。针对这一场景，主要存在两种有效的参数传递方案。

命令行方式传递参数

第一种方案是在执行命令行爬取时，利用crawl命令配合-a选项来注入参数。具体操作示例如下：


scrapy crawl myspider -a category=electronics

在Spider代码中，需通过构造函数接收这些传入的参数。实现方式如下：


import scrapy

class MySpider(scrapy.Spider):
  name = 'myspider'

  def __init__(self, category=None, *args, **kwargs):
    super(MySpider, self).__init__(*args, **kwargs)
    self.start_urls = ['http://www.example.com/categories/%s' % category]
    # ...

核心逻辑在于，在Spider的__init__方法中显式定义参数变量，从而在初始化阶段即可获取外部传入的配置信息。

Scrapyd调度方式传递参数

第二种方案适用于使用scrapyd进行Spider调度的场景。此时，可向schedule.json接口发送-d选项来附加参数。同样地，Spider构造函数需保持上述接收参数的写法。具体调用示例如下：


$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

利用Request Meta传递数据

若需在Scrapy发出的Request对象中携带参数，可利用Request的meta字段进行传递，随后在返回的Response对象中读取该参数。此技巧极具实用价值，例如需追踪特定URL由哪个用户发起爬取时，可先通过前述两种方法之一将用户信息传入Spider，Spider将该信息加入Request的meta中，最后在Response回调中结合页面数据存入数据库。具体代码实现如下：


def parse_page1(self, response):
  item = MyItem()
  item['main_url'] = response.url
  request = scrapy.Request("http://www.example.com/some_page.html",
               callback=self.parse_page2)
  request.meta['item'] = item
  return request

def parse_page2(self, response):
  item = response.meta['item']
  item['other_url'] = response.url
  return item

至此，关于Scrapy Spider参数传递的两种主要方法已介绍完毕。如需了解更多Scrapy Spider传参相关内容，建议查阅本站过往文章或继续浏览后续教程，感谢大家的支持。