Python爬蟲從入門到放棄（二十）之 Scrapy分佈式原理

關於Scrapy工做流程回顧 Scrapy單機架構git 上圖的架構其實就是一種單機架構，只在本機維護一個爬取隊列，Scheduler進行調度，而要實現多態服務器共同爬取數據關鍵就是共享爬取隊列。github 分佈式架構redis 我將上圖進行再次更改mongodb 這裏重要的就是個人隊列經過什麼維護？ 這裏通常咱們經過Redis爲維護，Redis，非關係型數據庫，Key-Value形式存儲，結構

>>阅读原文<<