Scrapy框架

Scrapy Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 其可以應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 Scrapy囊括了爬取網站數據幾乎所有的功能,是一個擴展性很強的一個框架,Scrapy在爬蟲界裏相當於web的Django Scrapy 使用了 Twisted異步網絡庫來處理網絡通訊。整體架構大致如下   Scrapy主要包括了以下組件： 引擎(Sc

>>阅读原文<<