Python pyspider 安裝與開發

PySpider 簡介 PySpider是一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分佈式架構，支持多種數據庫後端，強大的WebUI支持腳本編輯器、任務監視器，項目管理器以及結果查看器。 PySpider 來源於以前做的一個垂直搜索引擎使用的爬蟲後端。我們需要從200個站點（由於站點失效，不是都同時啦，同時有100+在跑吧）採集數據，並要求在5分鐘內將對方網

>>阅读原文<<