目录
简介
celery是基于python的分布式任务队列，一款简单、灵活、可靠的分布式系统。可以在一台机器上运行，也可以在多台机器上运行。
任务队列一般用于线程或计算机之间分配工作的一种机制。
核心
- task， 耗时的任务、定时任务
- broker， 消息中间件，如redis/rabbitmq
- worker, 执行者，并发执行（eventlet，gevent）
- backend， 存储任务的结果，如redis/memcached/Django ORM;
默认禁用，如果不需要结果则禁用；局部禁用 结果
@app.task(ignore_result=True)
def task():
return 5
- beat， 定时任务的调度器
功能
- 监控集群状态
- 任务调度
- 内存泄漏保护
Celery配置项
app = Celery("myworker")
app.conf.broker_url = ""
app.conf.result_backend = ""
app.conf.timezone = "Asia/Shanghai"
app.conf.result_expires = 200
web框架集成
flask，
django,
安装
pip install celery==4.4.7
pip install 'celery[gevent]'
pip install 'celery[redis]'
broker
rabbitmq
生产环境中的首先
broker_url = 'amqp://myuser:mypassword@localhost:5672/myvhost'
Ubuntu安装：
$ sudo apt-get install rabbitmq-server
docker运行：
$ docker run -d -p 5462:5462 rabbitmq
https://www.celerycn.io/ru-men/celery-chu-ci-shi-yong
在包中使用Celery
python3中优先绝对路径导入，然后相对路径
- 目录结构
- 代码
celery.py
"""
基础设置
"""
from celery import Celery
app = Celery(
"my_worker",
broker="redis://:laufing@127.0.0.1:6379/5",
backend="redis://:laufing@127.0.0.1:6379/6",
include=["pkg.tasks"],
)
app.conf.update(
result_expires = 3600,
)
if __name__ == "__main__":
app.start()
tasks.py
"""
创建任务函数
"""
from .celery import app
@app.task
def task1():
print("简单打印结果。。。")
return 5
@app.task(ignore_result=True)
def task2():
print("局部禁用结果")
return 10
启动worker进程
celery -A pkg worker -l info -P eventlet -n laufing
celery -A pkg worker -l info
celery -A pkg inspect active
celery -A pkg inspect active --destination=celery@tom.com，
celery -A pkg control enable_events
celery -A pkg events --dump
celery -A pkg control disable_events
celery -A pkg status
celery定时任务
- 配置 定时任务调度器
beat_shedule = {
"task1":{
"task": "pkg.tasks.func1",
"schedule": crontab(minute="*/1"),
"args": (),
},
"task2": {},
"task3": {},
}
app.conf.update(
beat_schedule = beat_schedule
)
- 启动 定时任务调度器
celery -A pkg beat -l info
celery -A pkg worker -l info -P eventlet -n laufing
定时任务遇到的问题
- 解决方案
删除之前启动定时任务的相关文件
以上可以直接在Django中使用Celery的定时任务
后台启动worker进程
linux下：， 注意window平台不支持
celery -A pkg multi start my_worker -l info
后台启动的worker， 没有执行任务
Original: https://blog.csdn.net/weixin_45228198/article/details/124440666
Author: laufing
Title: 刨析django—-celery
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/733338/
转载文章受原作者版权保护。转载请注明原作者出处！