利用celery+django 在admin後臺設置定時任務

常常用python開發web應用時，會涉及到定時任務的腳本，之前用linux自帶的crontab來操做，可是感受不太接地氣，後來發現用celery+django 能夠方便的實現！

安裝軟件環境以下：

python 2.7.5

Django==1.8.2

celery==3.1.18

celery-with-redis==3.0

django-celery==3.1.16

MySQL-python==1.2.3

supervisor==3.1.3

使用pip方式安裝完以上軟件，而且默認系統已經安裝了redis和mysql服務器！

一 首先建立project：

django-admin.py createproject picha

而後建立名稱爲demo的app：

django-admin.py startapp demo

項目的目錄結構爲：

二 下面在settings文件中配置celery相關的配置：

# CELERY STUFF
import djcelery
djcelery.setup_loader()
BROKER_URL = 'redis://localhost:6379'
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 定時任務
CELERY_RESULT_BACKEND = 'djcelery.backends.database:DatabaseBackend'
CELERY_RESULT_BACKEND = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'

INSTALLED_APPS = (
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'demo',
    'djcelery',
)

在和settings.py同級目錄中編輯文件 |__init__.py

#! /usr/bin/env python
# coding: utf-8

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

而後修改市區：

TIME_ZONE = 'Asia/Shanghai'

 市區不對，計劃任務是不會按時間執行的！

另外，咱們還須要在建立一個celery.py文件，他會自動發現咱們app下面的task！

#! /usr/bin/env python
# coding: utf-8

from __future__ import absolute_import
import os
from celery import Celery
from django.conf import settings

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'picha.settings')
app = Celery('picha')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

如今咱們在demo的app下面建立測試用的task！

from __future__ import absolute_import
from celery import shared_task,task


@shared_task()
def add(x,y):
    # return x + y
    print x + y

@shared_task()
def mul(x,y):
    print "%d * %d = %d" %(x,y,x*y)
    return x*y

@shared_task()
def sub(x,y):
    print "%d - %d = %d"%(x,y,x-y)
    return x - y

@task(ignore_result=True,max_retries=1,default_retry_delay=10)
def just_print():
    print "Print from celery task"

到這裏，django和celery部分已經安裝完成！

三 我如今開始配置supervisor，用來啓動相關celery程序：

1）初始化supervisor配置文件！

echo_supervisord_conf > /etc/supervisord.conf

2）而後在supervisord.conf文件末尾添加以下配置：

[program:djangoproject.celeryd]
command=/usr/local/pyenv/shims/python /usr/local/coding/pythoner/picha/manage.py celeryd --concurrency=1
user=root
numprocs=1
directory=/usr/local/coding/pythoner/picha
stdout_logfile=/var/log/celery_worker.log
stderr_logfile=/var/log/celery_worker.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs = 120
priority=998

[program:djangoproject.celerybeat]
command=/usr/local/pyenv/shims/python /usr/local/coding/pythoner/picha/manage.py celery beat --schedule=/tmp/celerybeat-schedule --pidfile=/tmp/django_celerybeat.pid --loglevel=INFO
user=root
numprocs=1
directory=/usr/local/coding/pythoner/picha
stdout_logfile=/var/log/celery_beat.log
stderr_logfile=/var/log/celery_beat.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs = 120
priority=998

[program:djangoproject.celerycam]
command=/usr/local/pyenv/shims/python /usr/local/coding/pythoner/picha/manage.py celerycam --frequency=10.0
user=root
numprocs=1
directory=/usr/local/coding/pythoner/picha
stdout_logfile=/var/log/celerycam.log
stderr_logfile=/var/log/celerycam.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs = 120
priority=998

四 如今咱們須要把celery相關的庫文件同步到mysql中，咱們使用命令：

python manage.py syncdb

而後建立superuser

django-admin manage.py createsuperuser

啓動supervisor：

supervisord -d

查看服務是否啓動成功，使用命令supervisorctl status

djangoproject.celerybeat         RUNNING   pid 3061, uptime 1:03:27

djangoproject.celerycam          RUNNING   pid 3063, uptime 1:03:27

djangoproject.celeryd            RUNNING   pid 3062, uptime 1:03:27

而後咱們進入到django-admin後臺，

如今咱們啓動django：

 python manage.py runserver 0.0.0.0:8008

進入後臺後，點擊「Periodic tasks」：

能夠看到寫在tasks.py下面的方法，在下拉菜單中都出現了，咱們只用選擇對應的時間便可！

如今，咱們開始選擇計劃任務的時間：

咱們建立一個定時任務，沒10s，print一個數值，放在在日誌文件中查看：

咱們查看日誌文件：

符合咱們在web後臺的設置！

咱們在設置一個加法運算，每隔15s運行一次，並且咱們能夠在web平臺後端動態的修改所傳的參數，

第一次，咱們傳入參數9和5，結果應該爲14，咱們看下設置和日誌：

我再看下日誌：

而後咱們在web後臺修改傳入參數爲10和7，不重啓服務，計算的結果動態變化爲17！

咱們發現，結果數據已經動態變化！

咱們若是啓動了 supervisor腳本中的：/usr/local/coding/pythoner/picha/manage.py celerycam --frequency=10.0

就能夠在admin後臺查看 woker是否是在線：

celery-django相關的配置就完成了！

PS：配置過程當中計劃任務的結果只能日誌中查看，不知道怎麼在admin的後臺中顯示，若是你們知道，能夠告訴我，3Q！