scrapy框架流程

工作流程: 簡單敘述每層圖的含義： Spiders(爬蟲):它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器) Engine(引擎)：負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。 Scheduler(調度器)：它負責接受引擎發送過來

>>阅读原文<<