分佈式爬蟲

什麼是分佈式爬蟲？ 1.默認狀況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行，由於爬蟲調度器當中的隊列queue去重和set集合都是本機上建立的 其餘的電腦沒法訪問另一臺電腦上的內存的內容。python 2.分佈式爬蟲用一個共同的爬蟲程序，同時部署到多臺電腦上運行，這樣能夠 提升爬蟲速度，實現分佈式爬蟲。git 分佈式爬蟲的前提 1.要保證每一臺計算機都可以正常的執行scrapy命令，可以

>>阅读原文<<