簡單的介紹分佈式爬蟲與redis

一 什麼是分佈式爬蟲？ 1.默認情況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行， 因爲爬蟲調度器當中的隊列queue去重和set集合都是在本機上創建的，其他的電腦無法訪問另外一臺電腦上的內存的內容 2.分佈式爬蟲用一個共同的爬蟲程序，同時部署到多臺電腦上運行。 這樣可以提高爬蟲速度，實現分佈式爬蟲 二 分佈式爬蟲的前提： 1.要保證每一臺計算機都能夠正常的執行scrapy命令，能夠啓動爬

>>阅读原文<<