python下使用scrapy-redis模塊分佈式爬蟲的爬蟲項目部署詳細教程————————gerapy

1.使用gerapy進行分佈式爬蟲管理 準備工做： 首先將你使用scrapy-redis寫的分佈式爬蟲所有完善redis 模塊準備：數據庫 安裝：瀏覽器 pip install pymongo【依賴模塊】scrapy pip install gerapy 分佈式 2.在本地建立部署項目的文件夾 2.1例如如圖在本地建立workgreapy文件夾spa 2.2進入該文件夾命令行 2.3輸入cmd 

>>阅读原文<<