python3 scrapy_redis 分佈式爬取房天下存mongodb

（一）scrapy_redis 簡單介紹 scrapy_redis基於scrapy框架的基礎上集成了redis，經過了redis實現了去重，多臺服務器進行分佈式的爬取數據。css （二）scrapy_redis 簡單配置 （1）settings.py 文件中加入兩行代碼：html #啓用Redis調度存儲請求隊列 SCHEDULER = "scrapy_redis.scheduler.Schedu

>>阅读原文<<