sprapy分佈式爬蟲簡要步驟

scrapy_redis:第三方庫實現分佈的部署 分佈式爬蟲: 只需要在衆多電腦中, 選擇其中一臺開啓redis服務, 目的就是在redis中創建公用的queue和公用的set, 然後剩餘電腦只需要連接redis服務即可，剩餘電腦不需要開啓redis-server服務。 1>在虛擬環境中安裝pip install redis 2>去github上搜索scrapy_redis庫，解壓，保存到項目根目

>>阅读原文<<