Celery 的用法介绍
celery介绍
什么是celery
这次我们来介绍一下Python的一个第三方模块celery,那么celery是什么呢?
celery是一个灵活且可靠的,处理大量消息的分布式系统,可以在多个节点之间处理某个任务。
celery是一个专注于实时处理的任务队列,支持任务调度。
celery是开源的,有很多使用者。
celery完全基于Python语言编写。
所以celery是一个任务调度框架,类似于Apache的airflow,当然airflow也是基于Python语言编写。不过有一点需要注意,celery是用来调度任务的,它本身并不具备任务的存储功能,而我们说在调度任务的时候肯定是要把任务存起来的,因此在使用celery的时候还需要搭配一些具备存储、访问功能的工具,比如:消息队列、Redis缓存、数据库等等。官方推荐的是消息队列RabbitMQ,个人认为有些时候使用Redis也是不错的选择,当然我们都会介绍。
那么celery都可以在哪些场景中使用呢?
异步任务:一些耗时的操作可以交给celery异步执行,而不用等着程序处理完才知道结果。比如:视频转码、邮件发送、消息推送等等。
定时任务:比如定时推送消息、定时爬取数据、定时统计数据等等
Celery 的用法介绍
https://waym1ng.github.io/2020/08/18/Celery 的用法介绍/