python之簡單Scrapy分佈式爬蟲的實現

分佈式爬蟲：爬蟲共用同一個爬蟲程序，即把同一個爬蟲程序同時部署到多臺電腦上運行，這樣能夠提升爬蟲速度。redis 在默認狀況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行，由於爬蟲調度器當中的隊列queue去重和set集合都是在本機上建立的，其餘的電腦沒法訪問另一臺電腦上的內存的內容；想要讓多臺機器共用一個queue隊列和set集合，可讓scrapy結合scrapy_redis來完成。數據庫

>>阅读原文<<