scrapy vs requests+beautifulsoup

 

兩種爬蟲模式比較：

一、requests和beautifulsoup都是庫，scrapy是框架。

二、scrapy框架中能夠加入requests和beautifulsoup。

三、scrapy基於twisted，性能是最大的優點。

四、scrapy方便擴展，提供了不少內置的功能。

五、scrapy內置的css和xpath selector很是方便，beautifulsoup最大的缺點就是慢。

 

爬蟲能作什麼？

一、搜索引擎---百度、谷歌、垂直搜索引擎。

二、推薦引擎---今日頭條

三、機器學習數據樣本

五、數據分析（如金融數據分析）、輿情分析等。

 

網頁分類：

常見類型的服務：

一、靜態網頁

二、動態網頁

三、webservice（restapi）