scrapy框架

scrapy框架流程 其流程可以描述如下： 調度器把requests–>引擎–>下載中間件—>下載器 下載器發送請求，獲取響應---->下載中間件---->引擎—>爬蟲中間件—>爬蟲 爬蟲提取數據，分爲兩類： 提取的是url地址，組裝成request對象---->爬蟲中間件—>引擎—>調度器 提取數據—>引擎—>管道 管道進行數據的處理和保存 注意： 圖中綠色線條的表示數據的傳遞 注意圖中中間件的

>>阅读原文<<