Scrapy 框架流程詳解

框架流程圖 Scrapy 使用了 Twisted 異步非阻塞網絡庫來處理網絡通訊，整體架構大致如下(綠線是數據流向)：     簡單敘述一下每層圖的含義吧： Spiders(爬蟲)：它負責處理所有Responses，從中分析提取數據，獲取Item字段需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器) Engine(引擎)：框架核心，負責Spider、ItemPipel

>>阅读原文<<