Python基於Scrapy-Redis分佈式爬蟲設計

開發環境：Python + Scrapy框架 + redis數據庫 程序採用 python 開發的 Scrapy 框架來開發，使用 Xpath 技術對下載的網頁進行提取解析，運用 Redis 數據庫做分佈式， 設計並實現了針對噹噹圖書網的分佈式爬蟲程序，scrapy-redis是一個基於redis的scrapy組件，通過它可以快速實現簡單分佈式爬蟲程序，該組件本質上提供了三大功能： schedul

>>阅读原文<<