Python爬蟲之Ssrapy架構瞭解

下面是Scrapy架構圖，包括組件以及在系統中發生的數據流的概覽。 組件 Scrapy Engine 引擎負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 調度器Scheduler 調度器從引擎接受request並將它們入隊，以便之後引擎請求他們時提供給引擎。 下載器Downloader 下載器負責獲取頁面數據並提供給引擎，而後提供給spider。 Spiders Spider是

>>阅读原文<<