Celery的使用完成異步任務與定時任務

0917自我總結

Celery的使用

一.官方文檔

Celery 官網：http://www.celeryproject.org/

Celery 官方文檔英文版：http://docs.celeryproject.org/en/latest/index.html

Celery 官方文檔中文版：http://docs.jinkan.org/docs/celery/

二.Celery架構

Celery的架構由三部分組成，消息中間件（message broker）、任務執行單元（worker）和 任務執行結果存儲（task result store）組成。

消息中間件

Celery自己不提供消息服務，可是能夠方便的和第三方提供的消息中間件集成。包括，RabbitMQ, Redis等等

任務執行單元

Worker是Celery提供的任務執行的單元，worker併發的運行在分佈式的系統節點中。

任務結果存儲

Task result store用來存儲Worker執行的任務的結果，Celery支持以不一樣方式存儲任務的結果，包括AMQP, redis等

使用場景

異步任務：將耗時操做任務提交給Celery去異步執行，好比發送短信/郵件、消息推送、音視頻處理等等

定時任務：定時執行某件事情，好比天天數據統計

三.Celery的安裝配置

pip install celery

消息中間件：RabbitMQ/Redis

app=Celery('任務名', broker='xxx', backend='xxx')

例如

broker = 'redis://127.0.0.1:6379/11'   #存任務的倉庫 redis數據庫://ip:地址/第幾個庫
backend = 'redis://127.0.0.1:6379/12'  #執行結果存儲
include = ['任務的上級目錄.任務文件',]    #任務名傳參方式用數組
app = Celery(broker=broker, backend=backend, include=include)

四.使用

1.目錄結構

project
    ├── celery_task # celery包 若是celery_task只是建了普通文件夾__init__能夠沒有,若是是包必定要有
    │   ├── __init__.py # 包文件 看狀況要不要存在
    │   ├── celery.py   # celery鏈接和配置相關文件，且名字必須交celery.py
    │   └── tasks.py    # 全部任務函數
    ├── add_task.py     # 添加任務
    └── get_result.py   # 獲取結果

2.建立工做任務

tasks.py

import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的結果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的結果：%s' % (n - m))
    return n - m

'''
t1 = add.delay(10, 20)
t2 = low.delay(100, 50)
print(t1.id)   #添加在這裏導入方法的時候直接運行方法
'''

3.配置任務

celery.py

from celery import Celery

broker = 'redis://127.0.0.1:6379/11'   #存任務的倉庫 redis數據庫://ip:地址/第幾個庫
backend = 'redis://127.0.0.1:6379/12'  #執行結果存儲
include = ['celery_task.tasks',]    #任務名傳參方式用數組
app = Celery(broker=broker, backend=backend, include=include)

4.啓動服務導入方法

#先要cd到根目錄如上面的目錄的結構移動至project
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

5.手動添加任務

add_task.py

from  celery_task.tasks import *
# 添加當即執行任務
#若是add(10, 20)及在普通環境下運行,celery下運行必須下面的操做
t1 = add.delay(10, 20)
t2 = low.delay(100, 50)
print(t1.id)  


# 添加延遲任務
from datetime import datetime, timedelta
def eta_second(second):
    ctime = datetime.now()
    utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
    time_delay = timedelta(seconds=second)
    return utc_ctime + time_delay

tasks.low.apply_async(args=(200, 50), eta=eta_second(10))

注意:這個手動添加的任務文件千萬別和配置任務文件和建立文件放同一目錄,否則會發生循環導入

6.查看任務進行狀態

from celery_task.celery import app

from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5' #這個id能夠在上述手動執行方法的結果.id顯示出來
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任務失敗')
    elif async.status == 'PENDING':
        print('任務等待中被執行')
    elif async.status == 'RETRY':
        print('任務異常後正在重試')
    elif async.status == 'STARTED':
        print('任務已經開始被執行')

7.定時啓動任務

# 1）建立app + 任務

# 2）啓動celery(app)服務：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

# 3）添加任務：自動添加任務，因此要啓動一個添加任務的服務
# 命令：celery beat -A celery_task -l info

# 4）獲取結果


from celery import Celery

broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks'])


# 時區
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False

# 任務的定時配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
    'low-task': {   #low-tast名字能夠隨意
        'task': 'celery_task.tasks.low',   #導入方法的路徑
        'schedule': timedelta(seconds=3),
        # 'schedule': crontab(hour=8, day_of_week=1),  # 每週一早八點
        'args': (300, 150), 
    }
}

#上述文件均在配置文件中

8.django中的使用

# 重點：要將 項目名.settings 所佔的文件夾添加到環境變量
# import sys
# sys.path.append(r'項目絕對路徑')

# 開啓django支持
import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', '項目名.settings')
import django
django.setup()
#在配置文件中或者在導入的方法中,基本上都在配置文件中設置
#若是下面正常配置報錯,通常都是因爲項目的setting沒有找到,這時候咱們要在上面方法配置
# 將celery服務框架放在項目根目錄下
# import sys
# sys.path.append(r'項目的路徑')


# 1）建立app + 任務

# 2）啓動celery(app)服務：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

# 3）添加任務：自動添加任務，因此要啓動一個添加任務的服務
# 命令：celery beat -A celery_task -l info

# 4）獲取結果

}