scrapy工作流程

主要看圖理解：先理解流程，在學習就簡單 之前的爬蟲的工作流程： 下面我們來看看scrapy 的工作流程： 其流程可以描述如下： 調度器把requests–>引擎–>下載中間件—>下載器 下載器發送請求，獲取響應---->下載中間件---->引擎—>爬蟲中間件—>爬蟲 爬蟲提取url地址，組裝成request對象---->爬蟲中間件—>引擎—>調度器 爬蟲提取數據—>引擎—>管道 管道進行數據的處理

>>阅读原文<<