scrapy_redis 和 docker 實現簡單分佈式爬蟲

簡介 在使用 scrapy 爬取 IT桔子公司信息，用來進行分析，瞭解 IT 創業公司的一切情況，之前使用 scrapy 寫了一個默認線程是10的單個實例，爲了防止被 ban IP 設置了下載的速度，3萬多個公司信息爬了1天多才完成，現在想到使用分佈式爬蟲來提高效率。 源碼githup 技術工具：Python3.5 scrapy scrapy_redis redis docker1.12 dock

>>阅读原文<<