scrapy的運行流程

    Scrapy Engine 引擎負責控制數據流在系統中全部組件中流動，並在相應動做發生時觸發事件。 詳細內容查看下面的數據流(Data Flow)部分。html 調度器(Scheduler) 調度器從引擎接受request並將他們入隊，以便以後引擎請求他們時提供給引擎。數據庫 下載器(Downloader) 下載器負責獲取頁面數據並提供給引擎，然後提供給spider。scrapy Spid

>>阅读原文<<