基於Celery的並行處理工程－OpenWorker快速安裝

Celery 是一個簡單靈活的Python並行處理框架，可是相關的幾個工程須要獨自安裝和配置，給小白的使用帶來困難。

OpenWorker是基於Python的並行處理框架，將集成Celery、Flower、Jobtastic和Rodeo工程，能夠經過控制檯或Web進行管理、提交任務等。

OpenWorker將這幾個工程放到一塊兒， 並增長了統一的安裝腳本，讓部署和安裝、運行都更加方便。OpenWorker僅僅集成這些資源讓數據研究者更易於使用，而不是替代原來的工程。因爲這幾個項目還在快速發展，所以也編寫合併和更新的腳本，實現與原做者的代碼庫保持一致。

一、並行處理框架：Celery，http://www.celeryproject.org/
執行任務的分發和調度，使用消息總線進行通信。
關於Celery的入門教程及參考：http://my.oschina.net/u/2306127/blog/420833

二、Web管理控制檯：Flower，https://github.com/mher/flower
在遠程經過Web界面監視和管理任務執行狀況。

三、任務進度通知：Jobtastic，http://policystat.github.io/jobtastic/
爲長時間運行的任務提供進度通知的Celery擴展庫。

四、Web上Python控制檯：
Rodeo:https://github.com/yhat/rodeo
能夠在Web瀏覽器編寫和執行Python代碼，支持交互控制檯，很是適合於探索式編程和數據研究。

五、Orange交互式流程設計和數據分析工具。

Orange是一個基於組件的數據挖掘和機器學習軟件套裝，支持Python進行腳本開發。更多資料參見http://my.oschina.net/u/2306127/blog/548833。

快速安裝腳本（這裏所有使用Python3）：

mkdir ./openworker

echo "============================================="
echo "install rodeo,remote web based python console..."
git clone  
cd rodeo
sudo python3 setup.py install
cd ..
echo "usage："
echo "  rodeo ."

echo "============================================="
echo "install celery, parallel python exec-engine ..."
#celery
sudo pip3 install celery
echo "Usage:"
echo " celery -A tasks worker --loglevel=info"

echo "============================================="
echo "install flower ...
sudo pip3 install flower
echo "If want latest version,install use:"
echo "sudo pip install https://github.com/mher/flower/zipball/master"
echo "Or get source code:"
echo "git clone https://github.com/mher/flower.git"
echo "Usage:"
echo "1: flower --port=5555"
echo "2: celery flower -A proj --address=127.0.0.1 --port=5555"
echo "3: celery flower -A proj --broker=amqp://guest:guest@localhost:5672//"

echo "============================================="
echo "install jobtastic-Job status feedback tool..."
sudo pip3 install jobtastic
echo "If you want latest version,install the source."
echo "git clone  
echo "cd jobtastic && sudo python3 setup.py install && cd .."

echo ""
echo "===OpenWorker Dependence Installed.======="

    啓動rodeo服務後，能夠遠程運行python腳本，再去啓動Celery相關的python腳本，執行並行計算服務的操做。

  OpenWorker，歡迎參與：https://github.com/supergis/OpenWorker。