PySpider 爬蟲系統

 PySpider：一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分佈式架構，支持多種數據庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。 一、安裝依賴庫 yum install gcc gcc-c++ -y yum install python-pip python-devel python-distribute libxml2

>>阅读原文<<