Python Celery定时任务配置与数据库管理详解

雨后青山

发布时间：2026-10-13| 6人浏览过

原创

本文详细解析Python Celery定时任务的配置方法，涵盖CELERYBEAT_SCHEDULE的设置、Crontab与间隔调度示例，以及通过数据库持久化存储任务。内容包含启动Beat与Worker的命令，并介绍利用expires字段自动清理过期任务的实现方案，帮助开发者高效管理长期运行的定时任务。

本文介绍Python Celery定时任务的配置示例，供参考使用。

配置

启用Celery的定时任务，需在配置中设置CELERYBEAT_SCHEDULE。

Celery的定时任务由celery beat进程负责调度。默认情况下，celery beat依据settings.py中指定的时区时间来执行调度。

创建定时任务

一种创建定时任务的方式是直接配置CELERYBEAT_SCHEDULE。

#每30秒调用task.add
from datetime import timedelta

CELERYBEAT_SCHEDULE = {
  'add-every-30-seconds': {
    'task': 'tasks.add',
    'schedule': timedelta(seconds=30),
    'args': (16, 16)
  },
}

#crontab任务
#每周一7:30调用task.add
from celery.schedules import crontab

CELERYBEAT_SCHEDULE = {
  # Executes every Monday morning at 7:30 A.M
  'add-every-monday-morning': {
    'task': 'tasks.add',
    'schedule': crontab(hour=7, minute=30, day_of_week=1),
    'args': (16, 16),
  },
}

使用数据库存储定时任务

若需使用数据库存储定时任务，需按如下方式设置CELERYBEAT_SCHEDULE。

import datetime
import json
from djcelery import models as celery_models
from django.utils import timezone
#创建任务
def create_task(name, task, task_args, crontab_time):
  '''
  name # 任务名字
  task # 执行的任务 "myapp.tasks.add"
  task_args # 任务参数 {"x":1, "Y":1}

  crontab_time # 定时任务时间 格式：
  {
    'month_of_year': 9 # 月份
    'day_of_month': 5 # 日期
    'hour': 01 # 小时
    'minute':05 # 分钟
  }
  '''

  # task任务， created是否定时创建
  task, created = celery_models.PeriodicTask.objects.
              get_or_create(name=name,task=task)
  # 获取 crontab
  crontab = celery_models.CrontabSchedule.objects.
              filter(**crontab_time).first()
  if crontab is None:
  # 如果没有就创建，有的话就继续复用之前的crontab
    crontab = celery_models.CrontabSchedule.objects.
              create(**crontab_time)
  task.crontab = crontab # 设置crontab
  task.enabled = True # 开启task
  task.kwargs = json.dumps(task_args) # 传入task参数
  expiration = timezone.now() + datetime.timedelta(day=1)
  task.expires = expiration # 设置任务过期时间为现在时间的一天以后
  task.save()
  return True 

#关闭任务
def disable_task(name):
'''
关闭任务
'''
  try:
    task = celery_models.PeriodicTask.objects.get(name=name)
    task.enabled = False # 设置关闭
    task.save()
    return True
  except celery_models.PeriodicTask.DoesNotExist:
    return True

启动beat

执行定时任务时，Celery依赖celery beat进程。该进程需保持运行状态，当到达指定定时任务的执行时间时，celery beat会将任务加入队列。与worker进程不同，Celery beat仅需运行一个实例。为避免重复发送任务，系统限制celery beat只能有一个。

启动命令：

python manage.py celery beat --loglevel=info

此外，还有一种简化的启动方式，即同时启动worker和beat：

python manage.py celery worker --loglevel=info --beat

定时删除

许多任务执行完毕后不再需要，若保留在数据库中则成为垃圾数据。是否有办法清除这些无效记录？答案是肯定的，因为django-celery本身具备定时任务功能，只需添加一个清理任务即可解决。具体实现如下：在django app目录中打开tasks.py，添加以下代码。

from djcelery import models as celery_models
from django.utils import timezone
@task()
def delete():
  '''
  删除任务
  从models中过滤出过期时间小于现在的时间然后删除
  '''
  return celery_models.PeriodicTask.objects.filter(
              expires__lt=timezone.now()).delete()

在创建任务的脚本中设置了expires为1天后过期，这样在过滤时即可将其作为条件，查找并删除过期的任务。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。