Python分佈式爬蟲詳解（一）

當項目上升到一定境界時候，需要同時抓取幾百個甚至上千個網站，這個時候，單個的爬蟲已經滿足不了需求。比如我們日常用的百度，它每天都會爬取大量的網站，一臺服務器肯定是不夠用的。所以需要各個地方的服務器一起協同工作。 本章知識點： a.scrapy-redis簡介 b.開始項目前的準備 一、Scrapy-Redis 簡介 scrapy-redis是一個基於redis數據庫的scrapy組件，它提供了四種

>>阅读原文<<