Python分佈式爬蟲詳解（二）

上一章Python分佈式爬蟲詳解（一）簡單的介紹了什麼是分佈式爬蟲，廢話不多說，本章開始從零搭建一個爬取電影天堂電影信息的分佈式爬蟲。 本章知識點： a.CrawlSpider爬取電影天堂動作片第一頁數據 b.將項目改爲RedisCrawlSpider爬蟲 一、CrawlSpider爬蟲 要想搭建分佈式爬蟲，我們可以寫一個普通的爬蟲，然後對其修改，使之成爲分佈式爬蟲。 首先，新建CrawlSpid

>>阅读原文<<