基於scrapy_redis建立scrapy的分佈式爬蟲

前記：        我們都是知道scrapy爬蟲框架是一個Python的一個很強大的爬蟲框架，也是被很多用Python寫爬蟲的使用者熟知的一個框架，而今天我們就來看看基於scrapy_redis所建立的分佈式scrapy爬蟲的強大。 1.準備 首先我們需要準備一個寫過scrapy的爬蟲，並且用MySQL異步存儲的 我們需要下載scrapy_redis工具包，就簡單的打開我們命令行工具然後進入我們

>>阅读原文<<