Scrapy框架原理及流程

這是一篇整理爬蟲概念知識的文章。 Scrapy工作流程圖 Scrapy數據流是由執行的核心引擎(engine)控制，流程是這樣的： 1、爬蟲引擎獲得初始請求開始抓取。  2、爬蟲引擎開始請求調度程序，並準備對下一次的請求進行抓取。  3、爬蟲調度器返回下一個請求給爬蟲引擎。  4、引擎請求發送到下載器，通過下載中間件下載網絡數據。  5、一旦下載器完成頁面下載，將下載結果返回給爬蟲引擎。  6、引

>>阅读原文<<