Scrapy框架的核心架構與執行流程

一.Scrapy的核心架構 在學習Scrapy的過程中，時常需要添加各種功能，因此需要我們熟悉Scrapy的架構並取重寫它的部分功能：   （1）Scrapy引擎（Engine）：引擎是Scrapy架構的核心，負責數據和信號在組件間的傳遞。   （2）調度器（Scheduler）：存儲帶爬取的網址，並確定網址的優先級，決定下一次爬取的網址。   （3）下載中間件（Downloader Middle

>>阅读原文<<