【scrapy】學習Scrapy入門

Scrapy介紹 Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 能夠應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 所謂網絡爬蟲，就是一個在網上處處或定向抓取數據的程序，固然，這種說法不夠專業，更專業的描述就是，抓取特定網站網頁的HTML數據。抓取網頁的通常方法是，定義一個入口頁面，而後通常一個頁面會有其餘頁面的URL，因而從當前頁面獲取到這些URL加入到爬蟲

>>阅读原文<<