scrapy 分佈式原理

Scrapy單機架構 在本機維護一個爬取隊列，Scheduler進行調度。 多臺主機協作的關鍵是什麼？共享爬取隊列。 分佈式爬蟲架構 隊列用什麼維護？ Redis，非關係型數據庫，Key-Value形式存儲，結構靈活。 是內存中的數據結構存儲系統，處理速度快，性能好。 提供隊列、集合等多種存儲結構，方便隊列維護。 怎樣來去重？ Redis 提供集合數據結構，在 Redis 集合中存儲每個 Requ

>>阅读原文<<