Python爬蟲-scrapy介紹及使用

scrapy的流程 其流程可以描述如下： ● 調度器把requests–>引擎–>下載中間件—>下載器 ● 下載器發送請求，獲取響應---->下載中間件---->引擎—>爬蟲中間件—>爬蟲 ● 爬蟲提取url地址，組裝成request對象---->爬蟲中間件—>引擎—>調度器 ● 爬蟲提取數據—>引擎—>管道 ● 管道進行數據的處理和保存 推薦學習：《0基礎 Python 入門教程》 注意： 圖中

>>阅读原文<<