Scrapy 框架基礎入門

一.Scrapy介紹

Scrapy，Python開發的一個快速,高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途普遍，能夠用於數據挖掘、監測和自動化測試。「Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 能夠應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。其最初是爲了 頁面抓取 (更確切來講, 網絡抓取 )所設計的， 也能夠應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。」

 

二.Scrapy項目結構

 

一、在Item中定義本身要抓取的數據：

二、而後在spiders目錄下編輯Spider.py那個文件：

 

三、編輯pipelines.py文件，能夠經過它將保存在TutorialItem中的內容寫入到數據庫或者文件中：

 

四、settings.py與scrapy.cfg則爲配置文件：

settings.py：

 

scrapy.cfg：