scrapy分佈式爬蟲部署-- 爬取知乎用戶爲例

環境簡介： Ubuntu 環境下 使用MongoDB將數據保存到本地，利用redis-server實現分佈式部署 使用scrapy框架爬去知乎用戶的信息。html 安裝MongoDB sudo apt-get install mongodb 2.安裝redis sudo apt-get install redis-server 3.安裝scarpy sudo apt-get install scr

>>阅读原文<<