scrapy如何實現分佈式爬蟲

使用scrapy爬蟲的時候，記錄一下如何分佈式爬蟲問題：html 關鍵在於多臺主機協做的關鍵：共享爬蟲隊列redis 主機:維護爬取隊列 從機：負責數據抓取，數據處理，數據存儲數據庫 隊列如何維護：Redis隊列 Redis 非關係型數據庫，key-value形式存儲，結構靈活。是內存中的數據結構存儲系統，處理速度快，性能好 提供隊列，集合等多種存儲結構，方便隊列維護數據結構 怎麼去重 Redis

>>阅读原文<<