Python爬蟲：scrapy 的運行流程和各模塊的做用

Python爬蟲：scrapy 的運行流程和各模塊的做用 scrapy的運行流程 爬蟲 -> 起始URL封裝Request -> 爬蟲中間件 -> 引擎 -> 調度器(Scheduler): 緩存請求, 請求去重 調度器 -> 請求 -> 引擎 -> 通過下載器中間件 -> 下載器(發送請求, 獲取響應數據, 封裝Response) 下載器 - Response(響應) -> 通過下載器中間件 -

>>阅读原文<<