Scrapy爬取结果导出为Excel的实现方法

Leo

发布时间：2026-10-16| 7人浏览过

原创

本文详细介绍如何使用Scrapy框架将爬取数据导出为Excel格式。通过定义Item实体类、配置CsvItemExporter以及注册Pipeline，实现数据的结构化存储。文章涵盖环境要求、核心代码实现及爬虫运行步骤，帮助开发者快速掌握Scrapy数据导出功能。

引言

使用Scrapy进行数据爬取仅仅是第一步，关键在于如何将获取的数据以合适的方式导出或持久化存储到数据库中。

Excel是日常工作中应用最广泛的工具之一，本文将重点讲解如何将Scrapy的爬取结果保存为Excel文件。

环境介绍

运行环境为Python 3.6.1，Scrapy版本为1.5.0。

定义Domain对象

首先需要定义用于存储爬取数据的实体类。

import scrapy
class EnrolldataItem(scrapy.Item):
    schoolName = scrapy.Field()
    currentBatch = scrapy.Field()
    totalNumberInPlan = scrapy.Field()
    majorName = scrapy.Field()
    categoryName = scrapy.Field()
    numberInPlan = scrapy.Field()
    note = scrapy.Field()

在Scrapy中，Field用于声明实体字段，其定义不依赖具体数据类型。

定义Pipelines

from scrapy.exporters import CsvItemExporter

class EnrolldataPipeline(object):
    def open_spider(self, spider):
        self.file = open("/home/bladestone/enrolldata.csv", "wb")
        self.exporter = CsvItemExporter(self.file,       
        fields_to_export=["schoolName", "currentBatch", "totalNumberInPlan"])
        self.exporter.start_exporting()

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

此处利用Scrapy内置的CsvItemExporter组件来处理爬取结果的存储。

open_spider()和close_spider()方法分别在Spider启动和结束时执行初始化和清理工作。对于Pipeline而言，具体操作如下：

open_spider(): 负责创建文件，初始化exporter实例，并调用start_exporting()开始接收Item数据。
close_spider(): 终止exporter的导出过程，并关闭文件流。
export_item()：用于将具体的Item数据保存到输出结果中。

process_item()是Pipeline中定义的核心方法，当该Pipeline在settings.py中注册后，Scrapy会自动调用此方法处理Item。

注册pipeline

需要在settings.py文件中完成Pipeline的注册配置。

ITEM_PIPELINES = {
‘enrolldata.pipelines.EnrolldataPipeline': 300,
}

spider中返回item

在Spider中，通常通过yield关键字异步返回结果，这是Spider中定义的响应处理方法。

具体的代码示例如下：

def parse_data():
    item = EnrolldataItem()
    item['majorName'] = major_name
    item['categoryName'] = major_category
    item['numberInPlan'] = major_number
    item['note'] = major_note
    item['schoolName'] = school_name
    item['currentBatch'] = current_batch
    item['totalNumberInPlan'] = total_number

    yield item