瞭解python爬蟲框架

1.Scrapy Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 其最初是爲了 頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。 特性： HTML, XML源數據 選擇及提取 的內置

>>阅读原文<<