Scrapy學習筆記-體系結構

下圖概述了Scrapy體系結構及其組件，並概述了系統內部發生的數據流（由紅色箭頭顯示）。 下面包括對這些組件的簡要說明，以及有關它們的更多詳細信息的鏈接。 Scrapy中的數據流由執行引擎控制，也就是圖中菱形的框，如下所示： 引擎會從爬蟲組件獲取初始請求以進行爬網。 引擎在調度程序中調度請求，並請求下一個要爬網的請求。 調度程序將下一個請求返回給引擎。 引擎通過下載器中間件將請求發送到下載器（請參

>>阅读原文<<