Celery

妖狐艹你老母 2023-02-20 03:23 10阅读 0赞

# 一、概述 #

Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。

Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该是最佳选择。

# 二、安装使用 #

### 安装Celery ###

pip install Celery

目前最新版本为：4.4.5

注意：Celery 4.x不再支持windows，更多信息请参考链接：

[https://www.oschina.net/news/78994/celery-4-0][https_www.oschina.net_news_78994_celery-4-0]

使用Redis作为Broker时，再安装一个celery-with-redis

开始编写tasks.py

from celery import Celery
    import time
    
    # 创建Celery实例
    celery = Celery('tasks',broker='redis://:qyI9YM3HcPRztc1b@10.212.82.86:6679/0',)
    
    # 创建任务
    @celery.task
    def sendmail(mail):
        print('sending mail to %s...' % mail['to'])
        time.sleep(2.0)
        print('mail sent.')

注意：这里指定的redis是需要密码认证的。

格式为：redis://redis密码@redis服务器ip:redis端口

然后启动Celery处理任务：

celery -A tasks worker --loglevel=info

上面的命令行实际上启动的是Worker，如果要放到后台运行，可以扔给supervisor。

如何发送任务？非常简单：

新建一个文件run.py

from task1 import sendmail
    ret = sendmail.delay(dict(to='celery@python.org'))
    print(ret,type(ret))

执行输出：

75283921-6db3-4420-a639-ba14e574a3bc <class 'celery.result.AsyncResult'>

可以看到，Celery的API设计真的非常简单。

然后，在Worker里就可以看到任务处理的消息：

[2020-06-17 19:14:46,154: WARNING/MainProcess] sending mail to celery@pytho
    n.org...
    [2020-06-17 19:14:48,157: WARNING/MainProcess] mail sent.
    [2020-06-17 19:14:48,157: INFO/MainProcess] Task task1.sendmail[75283921-6d
    b3-4420-a639-ba14e574a3bc] succeeded in 2.0s: None
    [2020-06-17 19:17:21,034: INFO/MainProcess] sync with celery@office-145

Celery默认设置就能满足基本要求。Worker以Pool模式启动，默认大小为CPU核心数量，缺省序列化机制是pickle，但可以指定为json。由于Python调用UNIX/Linux程序实在太容易，所以，用Celery作为异步任务框架非常合适。

Celery还有一些高级用法，比如把多个任务组合成一个原子任务等，还有一个完善的监控接口，以后有空再继续研究。

如果window 10运行报错

...
    ValueError: not enough values to unpack (expected 3, got 0)

请参考链接：

[https://www.cnblogs.com/Hannibal-2018/p/11147224.html][https_www.cnblogs.com_Hannibal-2018_p_11147224.html]

本文参考链接：

[https://www.liaoxuefeng.com/article/903701468278784][https_www.liaoxuefeng.com_article_903701468278784]

[https_www.oschina.net_news_78994_celery-4-0]: https://www.oschina.net/news/78994/celery-4-0
[https_www.cnblogs.com_Hannibal-2018_p_11147224.html]: https://www.cnblogs.com/Hannibal-2018/p/11147224.html
[https_www.liaoxuefeng.com_article_903701468278784]: https://www.liaoxuefeng.com/article/903701468278784