pyspider: 爬蟲框架，基於PyQuery實現的。

pyspider: 爬蟲框架，基於PyQuery實現的。 優勢： 1. 基於多線程異步的任務調度方式；可以實現爬蟲的高併發爬取，注意使用代理; 2. 它提供了一個WebUI的爬蟲任務管理界面，可以實現爬蟲的停止，啓動，調試，支持定時爬取任務; 3. 代碼簡潔; 4. 支持動態網站的爬取; requests/urllib只能爬取靜態網站。phantomjs phantomjs: 幽靈瀏覽器，無界面版

>>阅读原文<<