爬蟲京東圖書實現分佈式爬蟲scrapy_redis（詳）

京東圖書實現分佈式爬蟲 什麼是分佈式爬蟲 – 分佈式爬蟲就是多臺計算機上都安裝一樣的爬蟲程序，重點是協同採集。就是大傢伙一起完成一件事。 準備工作 安裝redis，百度上很多安裝教程，這裏不重複講了 pip install scrapy_redis 爲了演示分佈式的效果，準備多臺服務器，或者開幾個虛擬機，我這裏開了一臺Ubuntu 爬蟲代碼在文末 分析目標網站 京東圖書全類目https://boo

>>阅读原文<<