python爬蟲框架（1）--框架概述

框架概述 其中比較好用的是 Scrapy 和PySpider。pyspider上手更簡單，操做更加簡便，由於它增長了 WEB 界面，寫爬蟲迅速，集成了phantomjs，能夠用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，須要學習的相關知識多，不過本身拿來研究分佈式和多線程等等是很是合適的。html PySpider PySpider是binux作的

>>阅读原文<<