Scrapy爬蟲架構圖解

這就是整個Scrapy的架構圖了； Scrapy Engine: 這是引擎，負責Spiders、ItemPipeline、Downloader、Scheduler中間的通信，信號、數據傳遞等等！（像不像人的身體？） Scheduler(調度器): 它負責接受引擎發送過來的requests請求，並按照必定的方式進行整理排列，入隊、並等待Scrapy Engine(引擎)來請求時，交給引擎。 D

>>阅读原文<<