关于django集成celery

「爱情、让人受尽委屈。」 2022-05-23 11:04 178阅读 0赞

### 定义celery实例 ###

在django项目中使用Celery，必须先定义一个Celery库的实例（常叫作app）。推荐的定义方法是，在django项目的settings.py同级目录下，创建一个celery.py文件：

from __future__ import absolute_import, unicode_literals
    import os
    from celery import Celery
    
    # set the default Django settings module for the 'celery' program.
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
    
    app = Celery('proj')
    
    # Using a string here means the worker doesn't have to serialize
    # the configuration object to child processes.
    # - namespace='CELERY' means all celery-related configuration keys
    # should have a `CELERY_` prefix.
    app.config_from_object('django.conf:settings', namespace='CELERY')
    
    # Load task modules from all registered Django app configs.
    app.autodiscover_tasks()
    
    
    @app.task(bind=True)
    def debug_task(self):
        print('Request: {0!r}'.format(self.request))

说明：  
1）通过from **future** import absolute\_import来声明使用绝对引用，这样是为了下面的from celery import Celery引用的是系统celery模块，而不是我们自己创建的celery.py；  
2）通过os.environ.setdefault(‘DJANGO\_SETTINGS\_MODULE’, ‘proj.settings’)来为celery指定DJANGO\_SETTINGS\_MODULE环境变量；  
3）声明celery的实例app = Celery(‘proj’)。注意，实例的声明要在2）之后。  
4）使用app.config\_from\_object(‘django.conf:settings’, namespace=’CELERY’)表示直接在django的settings配置文件中来定义celery的配置，celery相关的配置以”CELERY\_”作为前缀；settings配置文件中配置参考如下：

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/1'
    CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379'
    CELERY_ACCEPT_CONTENT = ['json']
    CELERY_TASK_SERIALIZER = 'json'
    CELERY_RESULT_SERIALIZER = 'json'
    CELERY_ENABLE_UTC = False

5）使用app.autodiscover\_tasks()来自动发现django应用中的所有tasks模块  
6）debug\_task方法是一个用来打印当前任务实例的请求信息的例子

然后，需要在其同目录下的**init**.py中引入这个app：

from __future__ import absolute_import, unicode_literals
    
    # This will make sure the app is always imported when
    # Django starts so that shared_task will use this app.
    from .celery import app as celery_app
    
    __all__ = ['celery_app']

说明：这是为了确保当Django运行时，@shared\_task修饰器可以使用这个celery的app实例。

### 使用@shared\_task修饰器 ###

我们在写tasks任务时，如果直接引用celery实例，会降低代码的复用性。使用@shared\_task修饰器可以在不不需明确指定celery实例的情况下，创建tasks任务。以下为tasks.py的示例写法：

# Create your tasks here
    from __future__ import absolute_import, unicode_literals
    from celery import shared_task
    
    @shared_task
    def add(x, y):
        return x + y
    
    @shared_task
    def mul(x, y):
        return x * y
    
    @shared_task
    def xsum(numbers):
        return sum(numbers)

具体的任务逻辑，在@shared\_task修饰的函数方法中实现即可。

### 运行worker进程 ###

可以直接采用如下的celery命令：

celery -A proj worker -l info

此外可以参考其他以守护运行的方法：[http://docs.celeryproject.org/en/latest/userguide/daemonizing.html\#daemonizing][http_docs.celeryproject.org_en_latest_userguide_daemonizing.html_daemonizing]

### 使用django-celery-beat模块实现定时任务管理 ###

参考：[http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html\#beat-custom-schedulers][http_docs.celeryproject.org_en_latest_userguide_periodic-tasks.html_beat-custom-schedulers]

*  安装

$ pip install django-celery-beat

*  在项目的settings.py配置文件中添加django\_celery\_beat模块到INSTALLED\_APPS:

INSTALLED_APPS = (
        ...,
        'django_celery_beat',
    )

*  通过migrations命令生成相应的表

$ python manage.py makemigrations
    $ python manage.py migrate

*  启动celery beat 服务，并通过–scheduler选项指定django\_celery\_beat.schedulers:DatabaseScheduler

$ celery -A proj beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

注: 也可以在 settings 中配置scheduler  
访问Django-Admin的定时任务界面，配置定时任务  
![这里写图片描述][70]  
![这里写图片描述][70 1]

### 使用django-celery模块 ###

参考：[http://celery.github.io/django-celery/][http_celery.github.io_django-celery]

[http_docs.celeryproject.org_en_latest_userguide_daemonizing.html_daemonizing]: http://docs.celeryproject.org/en/latest/userguide/daemonizing.html#daemonizing
[http_docs.celeryproject.org_en_latest_userguide_periodic-tasks.html_beat-custom-schedulers]: http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#beat-custom-schedulers
[70]: /images/20220523/7e4ab9aa2a414952b25543d894f5b762.png
[70 1]: /images/20220523/ffe78e1d00084328a185305c8079145c.png
[http_celery.github.io_django-celery]: http://celery.github.io/django-celery/