Python分佈式爬蟲詳解（一）

當項目上升到必定境界時候，須要同時抓取幾百個甚至上千個網站，這個時候，單個的爬蟲已經知足不了需求。好比咱們平常用的百度，它天天都會爬取大量的網站，一臺服務器確定是不夠用的。因此須要各個地方的服務器一塊兒協同工做。python 本章知識點：git a.scrapy-redis簡介程序員 b.開始項目前的準備github 1、Scrapy-Redis 簡介redis scrapy-redis是一個基於

>>阅读原文<<