Python之分佈式爬蟲的實現步驟

什麼是分佈式爬蟲？python 默認狀況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行，由於爬蟲調度器當中的隊列queue去重和set集合都是在本機上建立的，其餘電腦沒法訪問另外一臺電腦上的內存中的內容。分佈式爬蟲是一個用共同的爬蟲程序，同時部署到多臺電腦上運行，這樣能夠提升爬蟲速度，實現分佈式爬蟲。redis 今天我就來給你們講一下使用scrapy_redis實現分佈式爬蟲數據庫 第一步：

>>阅读原文<<