Python爬蟲從入門到放棄（二十）之 Scrapy分佈式原理

關於Scrapy工作流程回顧 Scrapy單機架構 上圖的架構其實就是一種單機架構，只在本機維護一個爬取隊列，Scheduler進行調度，而要實現多態服務器共同爬取數據關鍵就是共享爬取隊列。 分佈式架構 我將上圖進行再次更改 這裏重要的就是我的隊列通過什麼維護？ 這裏一般我們通過Redis爲維護，Redis，非關係型數據庫，Key-Value形式存儲，結構靈活。 並且redis是內存中的數據結構存

>>阅读原文<<