Scrapy 架構及數據流圖簡介

Scrapy 是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘、信息處理或存儲歷史數據等一系列的程序中。本文着重介紹 Scrapy 架構及其組件之間的交互。 Scrapy 組件介紹 Scrapy Engine 引擎負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 詳細內容查看下面的數據流(Data Flow)部分。 調度器(Scheduler)  

>>阅读原文<<