scrapy 爬蟲框架記要

scrapy 就是一個幫助爬取網站數據，幫助提取網站結構化數據的框架。   組件概覽：   Scheduler  :   Scrapy Engine:  引擎負責數據流在整個系統中的流動，也就是在你start 啓動的那一瞬間，會有相應觸發事件。  spiders:  爬蟲程序， 裏包括如何爬取網頁，分析返回的response，提取item或者繼續進入下一個URL，每一個spider都負責處理一個或

>>阅读原文<<