Scrapy框架分析

      Scrapy框架分析 1 簡介   Scrapy是用Python開發的一個開源的Web爬蟲框架,可用於快速抓取Web站點並從頁面中高效提取結構化的數據。Scrapy可廣泛應用於數據挖掘、信息處理或存儲歷史數據等一系列的程序中。提供了多種類型爬蟲的基類，如BaseSpider、SitemapSpider等。其最初是爲了頁面抓取(更確切來說,網絡抓取)所設計的，也可以應用在獲取API所返回

>>阅读原文<<