解决Django Celery启动后迅速关闭及SyntaxError问题

问题现象与日志分析

当Celery服务启动时，如果观察到以下现象，表明存在底层依赖冲突：

• 日志显示Celery成功连接RabbitMQ后，连接迅速被关闭。
• RabbitMQ服务端日志提示“客户端意外关闭TCP连接”。
• Python应用层报错：invalid syntax (strategy.py, line 13)。

深入排查发现，报错根源在于kombu库中的async目录结构。在较旧的kombu版本中，异步模块位于kombu/async/目录下。然而，从Python 3.7开始，async被正式确立为语言关键字（用于定义异步函数）。这导致Python解释器在尝试导入from kombu.async.timer import ...时，将async识别为语法关键字而非目录名，从而抛出语法错误。

解决方案：修改kombu源码

要解决此问题，需要手动修正kombu库中的引用路径，将代码中所有对async目录的引用更改为asynchronous。这是kombu库为兼容Python 3.7+所做的标准适配方式。

具体操作步骤

1. 定位kombu安装路径：找到项目中使用的kombu库的安装目录。
2. 修改源码引用：全局搜索kombu/async相关的导入语句，将其替换为kombu/asynchronous。
3. 验证启动状态：修改完成后重新启动Celery。若日志中出现celery@test.ylyw.com ready（具体主机名可能不同），则表明Celery已正常运行。

源码调试技巧

若修改后问题依旧，或需要定位更深层的崩溃原因，可以通过修改Celery源码中的start和stop方法来打印堆栈跟踪，从而定位异常终止的具体位置。

1. 修改stop方法以打印堆栈

在Celery源码的stop方法中，在设置关闭标志前插入堆栈打印代码，以便在进程关闭时捕获调用链：

def stop(self, wait=False):
    info('beat: Shutting down...')
    # 插入调试代码：打印关闭时的堆栈跟踪
    import traceback
    info("start shutdown traceback ====")
    traceback.print_stack()
    
    self._is_shutdown.set()
    wait and self._is_stopped.wait() # block until shutdown done.

2. 修改start方法以暴露异常

默认情况下，Celery的start方法会捕获异常并静默处理。为了看到导致崩溃的具体错误，可以注释掉try...except块，直接让异常抛出：

def start(self):
    """Starts the workers main loop."""
    # 注释掉原有的异常捕获，以便直接看到错误
    # try:
    #   self.blueprint.start(self)
    # except WorkerTerminate:
    #   self.terminate()
    # except Exception as exc:
    #   logger.error('Unrecoverable error: %r', exc, exc_info=True)
    #   self.stop()
    # except (KeyboardInterrupt, SystemExit):
    #   self.stop()
    
    self.blueprint.start(self)

通过上述方式，可以清晰地看到导致Celery“闪退”的具体代码行和错误类型。对于Python 3.7及以上版本，优先确保kombu库的版本与Python版本兼容，或手动修正async至asynchronous的引用路径，是解决此类问题的关键。

以上就是如何解决Django Celery启动后迅速关闭及SyntaxError问题的详细内容，更多关于Python异步任务处理与Django集成的资料请关注本站其它相关文章！