技術選型

1. 爬蟲： scrapy + beautifulsoup(lxml) + redis + mongodb， 不過scrapinghub並不建議使用Mongodb，

     http://blog.scrapinghub.com/2013/05/13/mongo-bad-for-scraped-data/， 不知道他們最終用的時什麼db

 

2. 狀態監控： zabbix，能夠方便的自定義監控，和套用各類模板，（如進程數，內存暫用，硬盤佔用）

 

3.  網頁前端： angluarjs, mvc框架，比jquery的那種操做各類dom節點優雅的多，並且方便人閱讀和重用

 

4. 跨平臺： phonegap （html5 + js)

 

5. 服務器端，mongooose + nodejs + express， 和前端的angularjs，共同構成mean.io

 

6. 反向代理，nginx足夠勝任

 

7. 日誌處理：logrotate按期分割大小，python提取內容，多進程，再數據量些，上hadoop, 或者spark(更優，寫python 或 scala 比java舒服）

 

8. 語言選擇： go，ruby > python > java > php(垃圾）