分佈式爬蟲的原理

標題分佈式爬蟲的原理 一開始學習分佈式爬蟲真的是一臉的懵逼，完全不理解到底是怎麼通過Redis實現調度器分發任務 後來我逐漸理解了 在單機scrapy框架中的原理是這樣的 scrapy單機爬蟲中有一個request隊列由調度器來分發任務去請求，每次請求完成之後就會從隊列中刪除，而新的request請求也會加入到隊列。但是調度器的能力是有限的。 這樣就可以通過Redis來實現調度器分發任務，爲什麼要

>>阅读原文<<