如何將scrapy爬蟲轉換爲scrapy_redis爬蟲？

注意事項：在閱讀本文之前，必須具備使用scrapy編寫爬蟲的能力。 使用scrapy框架就可以快速開發一個爬蟲，如果針對一個大型的網站，單機爬蟲就會顯得心有餘而力不足。那麼有沒有便捷的辦法是單機爬蟲轉換爲分佈式爬蟲呢？ 首先需要了解單機爬蟲與分佈式爬蟲的區別: 我們先來查看兩張思維導圖： scrapy 框架實現原理 scrapy_redis 框架實現原理 在上述兩張圖示中我們可以看到scrapy_

>>阅读原文<<