scrapy和scrapy-redis框架

scrapy和scrapy-redis框架 Scrapy 是一個通用的爬蟲框架，但是不支持分佈式，Scrapy-redis是爲了更方便地實現Scrapy分佈式爬取，而提供了一些以redis爲基礎的組件(僅有組件)。 1、scrapy scrapy作爲一款優秀的爬蟲框架，在爬蟲方面有這衆多的優點。能快速、高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。     它的主

>>阅读原文<<