python任務調度模塊celery

python任務調度模塊celery

celery簡介

Celery是一個python開發的異步分佈式任務調度模塊。
Celery自己並不提供消息服務，使用第三方服務，也就是borker來傳遞任務，通常使用rabbitMQ或者Redis。

• Celery特色
  簡單：一單熟悉了celery的工做流程後，配置和使用仍是比較簡單的。
  高可用：當任務執行失敗或執行過程當中發生鏈接中斷，celery 會自動嘗試從新執行任務。
  快速：一個單進程的celery每分鐘可處理上百萬個任務。
  靈活： 幾乎celery的各個組件均可以被擴展及自定製。
• Celery工做流程圖
  python-Celery

  celery安裝使用

  安裝Celery模塊

  1	pip install celery

Celery的默認broker是RabbitMQ，僅需配置一行

1	broker_url = 'amqp://guest:guest@localhost:5672//'

 

RabbitMQ的安裝點擊Using RabbitMQ查看。
redis做爲broker也能夠。

• 安裝

  1	pip install redis

• 配置
  broker_url配置redis數據庫地址，格式爲redis://:password@hostname:port/db_number。
  backend配置任務結果存儲位置，將保存每一個任務的執行結果。

  1 2	app.conf.broker_url = 'redis://localhost:6379/0' app.conf.result_backend = 'redis://localhost:6379/0'

port和db_number是可選項，默認狀況下端口使用6379，db_number使用0。

• 示例
  建立一個celery application定義任務列表，新建一個celery1.py文件

  1 2 3 4 5 6 7 8

  from celery import Celery broker = "redis://118.24.18.158:6379/5" backend = "redis://118.24.18.158:6379/6" app = Celery("celery1", broker=broker, backend=backend) @app.task def add(x, y): return x+y

啓動Celery Worker開始監聽並執行任務

1	celery -A celery1 worker --loglevel=info

 

調用任務

1 2 3 4 5 6 7 8 9

import time from celery1 import add re = add.delay(10, 20) print(re) print(re.status) time.sleep(8) print(re.status) print(re.result)