分佈式爬蟲和redis的下載和安裝

一、什麼是分佈式爬蟲 1.默認情況下scrapy是單機爬蟲,只能在一臺電腦上運行 因爲爬蟲調度器當中的queue去重和set集合都是在本機上創建的 其他的電腦無法訪問另外一臺計算機上的內存的內容 2.分佈式爬蟲用一個共同的程序,同時部署到多臺電腦上運行 這樣可以提高爬蟲的速度  實施分佈式爬蟲 二、分佈式爬蟲的前提 1 保證每一臺計算機都能夠正常執行scrapy命令  能夠啓動爬蟲 2 要保證所有

>>阅读原文<<