Celery在Python爬虫中实现定时任务的完整流程

Mia

发布时间：2026-10-14| 6人浏览过

原创

本文详解如何在Python爬虫中使用Celery实现定时任务。通过配置Celery Worker与Beat服务，解决爬虫增量抓取及防止Cookie过期等需求。文章涵盖tasks.py配置、Worker重启及Beat启动命令，提供从代码编写到服务运行的完整操作指南，帮助开发者自动化数据获取流程。

Celery定时任务在爬虫中的应用背景

对于需要快速获取特定数据的场景，利用定时功能是极佳的选择。这避免了开发者必须长时间守在电脑前等待目标数据出现的繁琐过程。此前我们介绍过使用time函数进行简单的定时操作，这属于较为基础的用法。实际上，Celery同样能够高效地实现复杂的定时任务，具体实现方法如下文所述。

配置tasks.py与重启Worker流程

爬虫应用具有特殊性，往往需要定期执行增量数据抓取，或者定时进行模拟登录以刷新Cookie，防止会话过期。Celery正是解决此类定时任务需求的理想工具。基于前述基础，我们需要对`tasks.py`文件进行如下修改：


from celery import Celery
app = Celery('add_tasks', broker='redis:''//223.129.0.190:6379/2', backend='redis:''//223.129.0.190:6379/3')
app.conf.update(
  # 配置所在时区
  CELERY_TIMEZONE='Asia/Shanghai',
  CELERY_ENABLE_UTC=True,
  # 官网推荐消息序列化方式为json
  CELERY_ACCEPT_CONTENT=['json'],
  CELERY_TASK_SERIALIZER='json',
  CELERY_RESULT_SERIALIZER='json',
  # 配置定时任务
  CELERYBEAT_SCHEDULE={
    'my_task': {
      'task': 'tasks.add', # tasks.py模块下的add方法
      'schedule': 60,   # 每隔60运行一次
      'args': (23, 12),
    }
  }
)
@app.task
def add(x, y):
return x + y

随后，请先通过`ctrl+c`停止当前运行的Worker进程。由于代码已发生更改，必须重启Worker才能使新配置生效。接着，再次执行`celery -A tasks worker -l info`命令来启动新的Worker实例。

启动Celery Beat服务执行调度

此时，仅启动Worker尚不足以自动执行任务，还需要通过Beat服务向其发送定时调度指令。请打开一个新的命令行窗口，切换至项目根目录，并执行以下命令：


celery beat -A tasks -l info

celery beat v3.1.25 (Cipater) is starting. 

__ - ... __ - _

Configuration ->
. broker -> redis://223.129.0.190:6379/2
. loader -> celery.loaders.app.AppLoader
. scheduler -> celery.beat.PersistentScheduler
. db -> celerybeat-schedule
. logfile -> [stderr]@%INFO
. maxinterval -> now (0s)
[2017-05-19 15:56:57,125: INFO/MainProcess] beat: Starting...

执行上述操作后，即表示定时任务调度系统已正式启动并运行。

至此，关于Celery在Python爬虫中实现定时操作的实例讲解已完成。如需了解更多关于Celery在Python爬虫中进行定时操作的相关内容，建议搜索本站历史文章或继续浏览后续相关文章。感谢大家的支持！