Python3 Celery异步框架简单使用与Supervisor守护进程启动指南

一只小鹿

发布时间：2026-10-14| 2人浏览过

原创

本文介绍Python3中Celery异步框架的简单使用方法，包括安装、实例化、配置及任务调用流程。同时详细讲解如何利用Supervisor工具将Celery作为守护进程运行，实现进程的自动管理与重启，确保服务稳定运行。

首先，需要通过包管理工具安装Celery库。


sudo pip install celery

接下来，需要实例化Celery应用。在代码中创建Celery实例，并指定应用名称。同时，从指定的配置模块加载配置信息，并自动发现并注册指定包目录下的任务模块。


from celery import Celery
app = Celery("testapp")
# 导入配置
app.config_from_object('celery_tasks.config')
 
# 自动添加任务
app.autodiscover_tasks(["celery_tasks.test","celery_tasks.test2"])

进行简单的Celery配置，主要涉及消息代理（Broker）和结果后端（Backend）的地址设置。Broker用于接收任务消息，Backend用于存储任务执行结果。若无需获取任务结果，Backend配置可省略。


# 任务队列的地址
broker_url = "redis://127.0.0.1/14"
# 任务处理结果的保存地址[如果不需要接收任务处理结果，那么，可以不设置下面]
result_backend = "redis://127.0.0.1/15"

项目的文件目录结构应遵循特定规范，包含配置文件、主程序文件以及各个应用模块目录。


.
├── config.py
├── main.py
├── test
│  └── tasks.py
└── test2
  ├── __init__.py
  └── tasks.py

建议每个独立的应用模块都放在单独的文件夹中，以保持代码结构的清晰和模块化。

在应用模块目录中，定义异步任务的文件名必须严格命名为tasks.py，以便Celery自动发现。

在需要执行异步任务的代码位置，导入定义好的任务模块。


from celery_tasks.test.tasks import test
from celery_tasks.test2.tasks import test as test2
 
test_id = test.delay()
test2_id = test2.delay()
 
print(test_id)
print(test2_id)

调用异步任务时，使用delay()方法会立即返回一个任务ID。任务的执行结果可以后续通过配置的结果后端（result_backend），利用该任务ID进行查询获取。


/home/python/.virtualenvs/kol_site_py3/bin/python /home/python/projects/supervisor/supervisor/celery_tasks/test.py
a6e13745-c05b-496d-bbbe-2b636f84009c
d92d50b4-0ba1-4b05-9e96-eeb92a854929
 
Process finished with exit code 0


127.0.0.1:6379[15]> keys *
 1) "celery-task-meta-2a9c0a4b-5b40-4121-9986-a8430fc6b235"
 2) "celery-task-meta-0f16e227-393f-48ea-b41b-3419df84528e"
 3) "celery-task-meta-fbf31a20-6eee-4298-8a91-214d2e5c9399"
 4) "celery-task-meta-61f012c0-bde1-4344-9e1c-b5e8a7b93902"
 5) "celery-task-meta-074a659f-d76f-4818-8516-f098d1b900ed"
 6) "celery-task-meta-8a89c4db-f2e2-484b-94ee-e1af9911c69f"
 7) "celery-task-meta-0012966d-e8fd-483b-b8ac-d160d65c8221"
 8) "celery-task-meta-f97a452d-3812-4950-bfd9-02ff9e69a4b2"
 9) "celery-task-meta-4bebe710-7725-43f5-b0f7-9a35b57ba3b1"
10) "celery-task-meta-4b1cca23-31c3-4c82-a99f-bbe306846191"
11) "celery-task-meta-4cdf3a68-7df4-4bdf-8f54-abe6be83df3a"
12) "celery-task-meta-d92d50b4-0ba1-4b05-9e96-eeb92a854929"
13) "celery-task-meta-17265693-ba36-4f6c-80c8-d89a52f549f7"
14) "celery-task-meta-d62bbf16-6469-40a7-bc25-61b553014d76"
15) "celery-task-meta-4cca0f47-2f2d-45e6-8341-52264e50d969"
16) "celery-task-meta-1fd1e52a-00e1-486a-a224-36bd0fbb5d4a"
17) "celery-task-meta-af3b9536-91a6-4ae3-ab9b-59755bfb4883"
18) "celery-task-meta-b5710e2a-1905-44fd-8b11-4d7057113291"
19) "celery-task-meta-bebeb902-cce1-4edb-bdac-734ed6dc16ae"
20) "celery-task-meta-2771b961-694f-4727-9b19-07928834475e"
21) "celery-task-meta-8c683476-5cec-4933-8370-73793d656e23"
22) "celery-task-meta-6c8e6763-a416-4c02-9689-a0bb38bf26a6"
23) "celery-task-meta-7a4edb71-b13b-4f0f-b882-408716bb3ba9"
24) "celery-task-meta-4e368ca3-f686-4215-aed7-f0c6463cfac9"
25) "celery-task-meta-757f196d-c377-4f38-982d-700fa4f45c6b"
26) "celery-task-meta-094ea32e-5cf8-41c5-bf63-fb629e0e1e67"
27) "celery-task-meta-2e1f2188-0806-41f1-8eb8-4a0f73ec2aca"
28) "celery-task-meta-fd7e8fea-c738-4d49-b13d-c5d782eeaa96"
29) "celery-task-meta-e476f036-7192-4687-b9b7-c6a06556b4c3"
30) "celery-task-meta-2463c15f-5903-4381-8646-1b2aa6418ca0"
31) "celery-task-meta-a6e13745-c05b-496d-bbbe-2b636f84009c"
32) "celery-task-meta-f4f2d940-3e16-4d78-a0c4-3766eb91c908"
33) "celery-task-meta-5a1eaba8-0675-4e82-aedc-fee801ff31ef"
127.0.0.1:6379[15]>

启动Celery Worker进程的方法是在终端中运行celery命令。需要指定应用包名、日志级别等信息。对于守护进程模式，可以使用multi参数启动多个Worker，并指定日志文件路径。停止或重启服务时，将命令中的start替换为stop或restart即可。


# 最终在终端运行这个main文件
celery -A 应用包名 worker -l info
 
# 我们当前项目，在后端项目根目录下运行
celery -A celery_tasks.main worker -l info
# 守护进程
celery multi start w1 -A celery_tasks.main -l info --logfile=./celerylog.log
# 停止和重启 分别将 start 改为 stop / restart

另一种启动Celery的方式是使用Supervisor进程管理工具。Supervisor可以接管Celery进程，实现进程的自动监控、启动、停止和重启，确保服务在异常退出后能自动恢复。

至此，完成了Python3中Celery异步框架的基本使用介绍以及通过Supervisor实现守护进程启动的方法。如需了解更多Python3 Celery异步使用相关内容，可参考本站过往文章或继续浏览后续教程。