Celery - 一個懂得 異步任務 , 定時任務 , 週期任務 的芹菜

1.什麼是Celery?
Celery 是芹菜
Celery 是基於Python實現的模塊, 用於執行異步定時週期任務的
其結構的組成是由
    1.用戶任務 app
    2.管道 broker 用於存儲任務 官方推薦 redis rabbitMQ  / backend 用於存儲任務執行結果的
    3.員工 worker

 

2.Celery的簡單實例

 1 from celery import Celery
 2 import time
 3 
 4 #建立一個Celery實例,這就是咱們用戶的應用app
 5 my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")
 6 
 7 # 爲應用建立任務,func1
 8 @my_task.task
 9 def func1(x, y):
10     time.sleep(15)
11     return x + y

s1.py

1 from s1 import func1
2 
3 # 將任務交給Celery的Worker執行
4 res = func1.delay(2,4)
5 
6 #返回任務ID
7 print(res.id)

s2.py

 1 from celery.result import AsyncResult
 2 from s1 import my_task
 3 
 4 # 異步獲取任務返回值
 5 async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)
 6 
 7 # 判斷異步任務是否執行成功
 8 if async_task.successful():
 9     #獲取異步任務的返回值
10     result = async_task.get()
11     print(result)
12 else:
13     print("任務還未執行完成")

s3.py

三個文件建立完成了,細心的同窗如今已經開始分析哪一個文件是app,哪一個文件是borker,哪一個是worker了
那咱們得一步一步分析了,最終咱們要執行的任務是在 s1.py 中,也就是worker須要執行的任務,因此worker就是 s1.py了
如今咱們就來啓動worker,如何啓動呢
根據操做系統的不一樣,啓動方式也存在差別:
Linux - celery worker -A s1 -l INFO
Windows:這裏須要注意的是celery 4.0 已經再也不對Windows操做系統提供支持了,也就是在windows環境下出現問題除非本身解決,否賊官方是不會給你解決的
Windows - celery worker -A s1 -l INFO -P eventlet
ps: eventlet 是一個python的三方庫 須要使用 pip安裝 pip install eventlet

啓動完成,其實在s1.py當中,worker已經知道了本身的broker 和 backend 在哪裏了
接下來就讓異步任務開始執行吧,對了 s2.py 中就是使用 delay 的方式來開始執行的異步任務
執行 s2.py 獲得了一個字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 這個字符串兒就是異步任務的ID
在Celery worker 的控制檯中能夠看到這個樣子

等待15秒鐘以後就能夠的到這樣一個字符串

而後經過s3.py修改異步任務的ID來獲取任務返回的結果

這樣就簡單完成了一個Celery異步任務了

 

3.Celery 結合 Flask 模擬"搶購"系統

https://pan.baidu.com/s/15T08QUBYWqi8QjE0sPUBlg

下載源碼查看示例

 

4.Celery項目目錄

在實際項目中咱們應用Celery是有規則的

要知足這樣的條件才能夠哦,目錄Celery_task這個名字能夠隨意起,可是必定要注意在這個目錄下必定要有一個celery.py這個文件

1 from celery import Celery
2 
3 celery_task = Celery("task",
4                      broker="redis://127.0.0.1:6379",
5                      backend="redis://127.0.0.1:6379",
6                      include=["Celery_task.task_one","Celery_task.task_two"])
7 # include 這個參數適用於尋找目錄中全部的task

celery.py

1 from .celery import celery_task
2 import time
3 
4 @celery_task.task
5 def one(x,y):
6     time.sleep(5)
7     return f"task_one {x+y}"

task_one

1 from .celery import celery_task
2 import time
3 
4 @celery_task.task
5 def two(x,y):
6     time.sleep(5)
7     return f"task_two {x+y}"

task_two

這樣Celery項目目錄結構就已經作好了而後再 my_celery中調用

1 from Celery_task.task_one import one
2 from Celery_task.task_two import two
3 
4 one.delay(10,10)
5 two.delay(20,20)

my_celery.py

PS:啓動Worker的時候無需再使用文件啓動,直接啓動你的Celery_task目錄就好了
celery worker -A Celery_task -l INFO -P eventlet
這樣celery就能夠自動的去檢索當前目錄下全部的task了,經過Include這個參數逐一去尋找
 

5.Celery定時任務
咱們還使用Celery_task這個示例來修改一下
my_celery中進行一下小修改

 1 from Celery_task.task_one import one
 2 from Celery_task.task_two import two
 3 
 4 # one.delay(10,10)
 5 # two.delay(20,20)
 6 
 7 # 定時任務咱們不在使用delay這個方法了,delay是當即交給task 去執行
 8 # 如今咱們使用apply_async定時執行
 9 
10 #首先咱們要先給task一個執行任務的時間
11 import datetime,time
12 # 獲取當前時間 此時間爲東八區時間
13 ctime = time.time()
14 # 將當前的東八區時間改成 UTC時間 注意這裏必定是UTC時間,沒有其餘說法
15 utc_time = datetime.datetime.utcfromtimestamp(ctime)
16 # 爲當前時間增長 10 秒
17 add_time = datetime.timedelta(seconds=10)
18 action_time = utc_time + add_time
19 
20 # action_time 就是當前時間將來10秒以後的時間
21 #如今咱們使用apply_async定時執行
22 res = one.apply_async(args=(10,10),eta=action_time)
23 print(res.id)
24 #這樣本來延遲5秒執行的One函數如今就要在10秒鐘之後執行了

my_celery

定時任務只能被執行一次,那若是我想每隔10秒都去執行一次這個任務怎麼辦呢? 週期任務來了

 

6.Celery週期任務

首先要對Celery_task中的celery.py進行一點修改:

 1 from celery import Celery
 2 from celery.schedules import crontab
 3 
 4 celery_task = Celery("task",
 5                      broker="redis://127.0.0.1:6379",
 6                      backend="redis://127.0.0.1:6379",
 7                      include=["Celery_task.task_one","Celery_task.task_two"])
 8 
 9 #我要要對beat任務生產作一個配置,這個配置的意思就是每10秒執行一次Celery_task.task_one任務參數是(10,10)
10 celery_task.conf.beat_schedule={
11     "each10s_task":{
12         "task":"Celery_task.task_one.one",
13         "schedule":10, # 每10秒鐘執行一次
14         "args":(10,10)
15     },
16     "each1m_task": {
17         "task": "Celery_task.task_one.one",
18         "schedule": crontab(minute=1), # 每一分鐘執行一次
19         "args": (10, 10)
20     },
21     "each24hours_task": {
22         "task": "Celery_task.task_one.one",
23         "schedule": crontab(hour=24), # 每24小時執行一次
24         "args": (10, 10)
25     }
26 
27 }
28 
29 #以上配置完成以後,還有一點很是重要
30 # 不能直接建立Worker了,由於咱們要執行週期任務,因此首先要先有一個任務的生產方
31 # celery beat -A Celery_task
32 # celery worker -A Celery_task -l INFO -P eventlet

celery.py

建立Worker的方式並無發行變化,可是這裏要注意的是,每間隔必定時間後須要生產出來任務給Worker去執行,這裏須要一個生產者beat

celery beat -A Celery_task  #建立生產者 beat 你的 schedule 寫在哪裏,就要從哪裏啓動

 celery worker -A Celery_task -l INFO -P eventlet

 建立worker以後,每10秒就會由beat建立一個任務給Worker去執行

到此爲止 Celery的應用就已經完事兒了,Bye