Scrapy基於scrapy_redis實現分佈式爬蟲部署

準備工作 1.安裝scrapy_redis包,打開cmd工具,執行命令pip install scrapy_redis 2.準備好一個沒有BUG,沒有報錯的爬蟲項目 3.準備好redis主服務器還有跟程序相關的mysql數據庫 前提mysql數據庫要打開允許遠程連接,因爲mysql安裝後root用戶默認只允許本地連接,詳情請看此文章 部署過程 1.修改爬蟲項目的settings文件 在下載的scr

>>阅读原文<<