Scrapy爬取淘寶商品數據保存到mongodb

1. Scrapy介紹       Scrapy 是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。Scrapy使用Twisted異步網絡庫處理網絡通信，架構清晰，並且包含了各種中間件接口，可以靈活地完成各種要求。 Scrapy 整體架構如下圖： Scrapy組件： 引擎(Scrapy Engine) 負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 調度器(Schedul

>>阅读原文<<