scrapy-redis分佈式爬蟲爬取某技術網站

scrapy-redis 分佈式爬蟲抓取伯樂在線的數據 github地址 http://github.com/nanmuyao/scrapy-redis 1，如果抓取網絡數據想要最快，那麼把代理ip和分佈式（scrapy-redis）結合起來肯定是最快的 2，實現目標用scrapy-redis搭建抓取環境，+ bloomfilter去重，然後統一存儲到一個mysql中 3，scrapy-redis

>>阅读原文<<