Celery 的用法介绍

celery介绍

什么是celery

这次我们来介绍一下Python的一个第三方模块celery,那么celery是什么呢?

  • celery是一个灵活且可靠的,处理大量消息的分布式系统,可以在多个节点之间处理某个任务。
  • celery是一个专注于实时处理的任务队列,支持任务调度。
  • celery是开源的,有很多使用者。
  • celery完全基于Python语言编写。

所以celery是一个任务调度框架,类似于Apache的airflow,当然airflow也是基于Python语言编写。不过有一点需要注意,celery是用来调度任务的,它本身并不具备任务的存储功能,而我们说在调度任务的时候肯定是要把任务存起来的,因此在使用celery的时候还需要搭配一些具备存储、访问功能的工具,比如:消息队列、Redis缓存、数据库等等。官方推荐的是消息队列RabbitMQ,个人认为有些时候使用Redis也是不错的选择,当然我们都会介绍。

那么celery都可以在哪些场景中使用呢?

  • 异步任务:一些耗时的操作可以交给celery异步执行,而不用等着程序处理完才知道结果。比如:视频转码、邮件发送、消息推送等等。
  • 定时任务:比如定时推送消息、定时爬取数据、定时统计数据等等

参考:这是一篇很详细的celery用法介绍


Celery 的用法介绍
https://waym1ng.github.io/2020/08/18/Celery 的用法介绍/
作者
waymingz
发布于
2020年8月18日
许可协议