Scrapy爬蟲數據架構圖

Scrapy是基於用Python寫的一個流行的事件驅動網絡框架Twisted編寫的。因此，它使用非阻塞(即異步)代碼實現併發。 舊版Scrapy架構圖 : 新版Scrapy架構圖 : Scrapy中的數據流由執行引擎控制，如下所示: Engine獲得從爬行器中爬行的初始請求。 Engine在調度程序中調度請求，並請求下一次抓取請求。 調度程序將下一個請求返回到引擎。 引擎將請求發送到下載器，通過下

>>阅读原文<<