基於Celery的並行處理工程-OpenWorker

OpenWorker-初始創建(2015-05-29),歡迎參與:https://github.com/supergis/OpenWorker
OpenWorker-基於Python的並行處理框架,將集成Celery、Flower、Jobtastic和Rodeo工程,能夠經過控制檯或Web進行管理、提交任務等。
git

Celery是一個簡單靈活的Python並行處理框架,可是相關的幾個工程須要獨自安裝和配置,給小白的使用帶來困難。OpenWorker將這幾個工程放到一塊兒,並增長了統一的安裝腳本,讓部署和安裝、運行都更加方便。OpenWorker僅僅集成這些資源讓數據研究者更易於使用,而不是替代原來的工程。因爲這幾個項目還在快速發展,所以也編寫合併和更新的腳本,實現與原做者的代碼庫保持一致。github

一、並行處理框架:
Celery:http://www.celeryproject.org/
執行任務的分發和調度,使用消息總線進行通信。
關於Celery的入門教程及參考:http://my.oschina.net/u/2306127/blog?catalog=2527511編程

二、Web管理控制檯:
Flower:https://github.com/mher/flower
在遠程經過Web界面監視和管理任務執行狀況。

三、任務進度通知:
Jobtastic:http://policystat.github.io/jobtastic/
爲長時間運行的任務提供進度通知的Celery擴展庫。

四、Web上Python控制檯:
Rodeo:https://github.com/yhat/rodeo
能夠在Web瀏覽器編寫和執行Python代碼,支持交互控制檯,很是適合於探索式編程和數據研究。瀏覽器

相關文章
相關標籤/搜索