爬蟲知識2：Scrapy框架介紹，建立第一個蜘蛛

1、Scrapy介紹：     Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。主要用來幫助你下載網頁、解析網頁、自定義一些模塊。我們只需專注於提取數據就好了；     Scrapy 使用了Twisted異步網絡庫來處理網絡通訊，可以加快我們的下載速度，而不用自己去實現異步框架。     Scrapy整體架構大致如下： Scrapy主要包括了以下組件： 引擎(Scrapy En

>>阅读原文<<