scrapy分佈式爬蟲中Scrap_redis部署

一。1.什麼是scrapy_redis? scrapy_redis是第三方庫 2.什麼是 分佈式爬蟲？ 簡單的理解就是一臺主機電腦控制多臺副機電腦，以相同的代碼，爬取不同的內容。 注：在衆多電腦中，選擇其中一臺開啓redis服務，目的就是在redis中創建公用的queue和公用的set， 然後剩餘電腦只需要連接redis服務即可，剩餘電腦不需要開啓redis-server服務。 二。安裝 scra

>>阅读原文<<