scrapy框架通用爬蟲、深度爬蟲、分佈式爬蟲、分佈式深度爬蟲，源碼解析及應用 ...

scrapy框架是爬蟲界最爲強大的框架，沒有之一，它的強大在於它的高可擴展性和低耦合，使使用者可以輕鬆的實現更改和補充。java 其中內置三種爬蟲主程序模板，scrapy.Spider、RedisSpider、CrawlSpider、RedisCrawlSpider（深度分佈式爬蟲）分別爲別爲通常爬蟲、分佈式爬蟲、深度爬蟲提供內部邏輯；下面將從源碼和應用來學習，python scrapy.Spid

>>阅读原文<<