pyspider爬蟲框架(增量爬蟲)

pyspider: 爬蟲框架, 基於puquery實現的. 優勢: 1. 基於多線程異步的任務調度方式; 可以實現爬蟲的高併發爬取, 注意使用代理; 2. 它提供了一個WedUI的爬蟲任務管理界面, 可以實現爬蟲的停止, 啓動, 調試, 支持定時爬取任務; 3. 代碼簡潔; 4. 支持動態網站的爬取; requests/urllib只能爬取靜態網站. phantomjs phantomjs: 幽靈

>>阅读原文<<