Scrapy-redis 分佈式爬蟲-成都安居客二手房數據爬取

Joint-spider 項目地址:GitHubcss Scrapy-Redis 架構： html 成都貝殼，安居客房源信息爬蟲python 基於 python 分佈式房源數據爬取系統,爲房價數據挖掘及可視化提供數據支持。採用 Scrapy 框架來開發，使用 Xpath 技術對下載的網頁進行提取解析，運用 Redis 數據庫作分佈式，使用Mysql數據庫作數據存儲，同時保存與CSV文件中.mysq

>>阅读原文<<