scrapy運行流程解析

首先要明白這些英文單詞的含義： Scrapy Engine 引擎負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 詳細內容查看下面的數據流(Data Flow)部分。 調度器(Scheduler) 調度器從引擎接受request並將他們入隊，以便之後引擎請求他們時提供給引擎。（其實就是存儲request請求的隊列） 下載器(Downloader) 下載器負責獲取頁面數據並提供給引

>>阅读原文<<