Scrapy_Redis第一講

分佈式爬蟲 狀態管理器可以部署在A，B，C任何一臺上，也可以部署在另外的服務器上。URL的分配和 去重都是通過我們的狀態管理器來進行管理的     分佈式爬蟲的優點： 1.充分利用多機器的寬帶加速爬取 2.充分利用多機的爬取速度   我們在使用SCHEDULER時是一種單機狀態，scrapy在 通信時使用的是queue，這個是存在某臺機器的內存上的，不 支持分佈式。   現在我們做分佈式的，那麼我

>>阅读原文<<