Scrapy基於scrapy_redis實現分佈式爬蟲部署

準備工做 1.安裝scrapy_redis包,打開cmd工具,執行命令pip install scrapy_redis mysql 2.準備好一個沒有BUG,沒有報錯的爬蟲項目 redis 3.準備好redis主服務器還有跟程序相關的mysql數據庫sql 前提mysql數據庫要打開容許遠程鏈接,由於mysql安裝後root用戶默認只容許本地鏈接,詳情請看此文章數據庫 部署過程 1.修改爬蟲項目的

>>阅读原文<<