Pyspider爬蟲框架(以及與Scrapy爬蟲框架的優缺點)

Pyspider: 一個國人編寫強大的網絡爬蟲系統並帶有強大的WebUI, 採用Python語言編寫, 分佈式架構, 支持多種數據庫後端, 強大的WebUI支持腳本編輯器, 任務監視器, 項目管理器以及結果查看器. 主要功能需求: 1> 抓取, 更新調度多站點的特定的頁面 2> 需要對頁面進行結果化信息的提取 3> 靈活可擴展, 穩定可監控 Pyspider設計基礎: 1> 通過python腳本進

>>阅读原文<<