Celery - 異步任務 , 定時任務 , 週期任務 的芹菜

1. 什麼是celery?

Celery  是芹菜

Celery是基於python實現的模塊, 用於執行異步定時週期任務的

其結構的組成是由

　　1. 用戶任務app

　　2. 管道broker用於存儲任務  官方推薦 redis rabbitMQ / backend 用於存儲任務執行結構的

　　3. 員工worker

 

2. celery 的簡單實例

from celery import Celery
import time

#建立一個Celery實例,這就是咱們用戶的應用app
my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")

# 爲應用建立任務,func1
@my_task.task
def func1(x, y):
    time.sleep(15)
    return x + y

s1.py

from s1 import func1

# 將任務交給Celery的Worker執行
res = func1.delay(2,4)

#返回任務ID
print(res.id)

s2.py

from celery.result import AsyncResult
from s1 import my_task

# 異步獲取任務返回值
async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)

# 判斷異步任務是否執行成功
if async_task.successful():
    #獲取異步任務的返回值
    result = async_task.get()
    print(result)
else:
    print("任務還未執行完成")

s3.py

 

咱們要執行的任務是s1.py中,  也就是worker須要執行的任務, 因此worker就是s1.py了

如今咱們就來啓動worker 

根據操做系統的不一樣, 啓動方式也存在差別:

Linux: 　　 celery worker -A s1 -l INFO

windows :  這裏須要注意的是celery 4.+ 已經再也不對windows 操做系統提供支持了, 也就是在windows環境下出現問題除非本身解決, 不然官方是不會給你解決的

Windows : 　　celery worker -A s1 -l INFO -P eventlet

ps :  eventlet 是一個python的三方庫  須要使用pip安裝   pip install eventlet 

 

 

 

 

 

 

 

 

 

 

 

啓動完成, 其實在s1.py 當中, worker 已經知道了本身的broker 和 backend 在哪裏了

 

接下來就讓異步任務開始執行吧, 對了 s2.py 中就是使用 delay 的方式來開始執行的異步任務

執行s2.py 獲得了一個字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 這個字符串就是異步任務的ID

在celery worker 的控制檯能夠看到這個樣子

 

 

 等待15秒鐘以後就能夠的到這樣一個字符串

 

 

 

而後經過s3.py修改異步任務的ID來獲取任務返回的結果

 

 

 

 

 

 

 

這樣就簡單完成了一個Celery異步任務了

 

3.Celery 結合 Flask 模擬"搶購"系統

https://pan.baidu.com/s/15T08QUBYWqi8QjE0sPUBlg

下載源碼查看示例

 

4. celery 項目目錄

在實際項目中咱們應用celery是有規則的

 

要知足這樣的條件才能夠哦, 目錄Celery_task這個名字能夠隨意起, 可是必定要注意在這個目錄下必定要有一個celery.py這個文件

from celery import Celery

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])
# include 這個參數適用於尋找目錄中全部的task

celery.py

from .celery import celery_task
import time

@celery_task.task
def one(x,y):
    time.sleep(5)
    return f"task_one {x+y}"

task_one

from .celery import celery_task
import time

@celery_task.task
def two(x,y):
    time.sleep(5)
    return f"task_two {x+y}"

task_two

 

這樣Celery項目目錄結構就已經作好了而後再 my_celery中調用

from Celery_task.task_one import one
from Celery_task.task_two import two

one.delay(10,10)
two.delay(20,20)

 

PS :  啓動worker 的時候無需在使用文件啓動, 直接啓動你的Celery_task目錄就好了

celery worker -A celery_task -l INFO -P eventlet

這樣celery 就能夠自動的去檢測當前目錄下全部的task了, 經過 include 這個參數逐一去尋找

 

5. celery定時任務

咱們還使用Celery_task這個示例來修改一下
my_celery中進行一下小修改

from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定時任務咱們不在使用delay這個方法了,delay是當即交給task 去執行
# 如今咱們使用apply_async定時執行

#首先咱們要先給task一個執行任務的時間
import datetime,time
# 獲取當前時間 此時間爲東八區時間
ctime = time.time()
# 將當前的東八區時間改成 UTC時間 注意這裏必定是UTC時間,沒有其餘說法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 爲當前時間增長 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是當前時間將來10秒以後的時間
#如今咱們使用apply_async定時執行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#這樣本來延遲5秒執行的One函數如今就要在10秒鐘之後執行了

my_celery

 

 

定時任務只能被執行一次,那若是我想每隔10秒都去執行一次這個任務怎麼辦呢? 週期任務來了

 

 6. celery 週期任務

 首先要對Celery_task中的celery.py進行一點修改:

from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要對beat任務生產作一個配置,這個配置的意思就是每10秒執行一次Celery_task.task_one任務參數是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒鐘執行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分鐘執行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小時執行一次
        "args": (10, 10)
    }

}

#以上配置完成以後,還有一點很是重要
# 不能直接建立Worker了,由於咱們要執行週期任務,因此首先要先有一個任務的生產方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

celery.py

 

建立Worker 的方式並無發生變化,  可是這裏注意的是,每間隔必定時間後須要生產出來任務給worker去執行, 這裏須要一個生產者 beat

celery beat -A Celery_task   # 建立生產者beat 你的schedule 寫在哪裏, 就是從哪裏啓動

 

 

 

 

 

 

 

 

celery worker - A Celery_task -l INFO -P eventlet

建立worker 以後, 沒10秒就會由beat 建立一個任務給 worker 去執行