Python--Scrapy框架介紹

Scrapy框架概述 　　圖表展現了Scrapy的架構，包括組件及在系統中發生的數據流的概覽(綠色箭頭所示)。 下面對每個組件都做了簡單介紹，並給出了詳細內容的鏈接。數據流如下所描述。   Scrapy Engine 引擎負責與其他模塊進行通信，控制數據流在系統所有組件上的流動。 調度器(Scheduler) 用來接收引擎發送過來的request，並壓入隊列中，並在引擎再次請求的時候返回一個URL

>>阅读原文<<