scrapy框架通用爬蟲、深度爬蟲、分佈式爬蟲、分佈式深度爬蟲，源碼解析及應用

scrapy框架是爬蟲界最爲強大的框架，沒有之一，它的強大在於它的高可擴展性和低耦合，使使用者能夠輕鬆的實現更改和補充。 其中內置三種爬蟲主程序模板，scrapy.Spider、RedisSpider、CrawlSpider、RedisCrawlSpider（深度分佈式爬蟲）分別爲別爲一般爬蟲、分佈式爬蟲、深度爬蟲提供內部邏輯；下面將從源碼和應用來學習， scrapy.Spider 源碼： """

>>阅读原文<<