分佈式爬蟲原理

1、分佈式爬蟲架構 在瞭解分佈式爬蟲架構以前，首先回顧一下Scrapy的架構，以下圖所示。html Scrapy單機爬蟲中有一個本地爬取隊列Queue，這個隊列是利用deque模塊實現的。若是新的Request生成就會放到隊列裏面，隨後Request被Scheduler調度。以後，Request交給Downloader執行爬取，簡單的調度架構以下圖所示。web 若是兩個Scheduler同時從隊列

>>阅读原文<<