scrapy流程圖的相關講解(需要掌握)

一.scrapy架構預覽圖 二.scrapy架構預覽圖講解   Scrapy數據流是由執行的核心引擎(engine)控制,流程是這樣的:   1、爬蟲引擎獲得初始請求開始抓取。   2、爬蟲引擎開始請求調度程序,並準備對下一一次的請求進行抓取。3、爬蟲調度器返回下一個請求給爬蟲引擎。   4、引擎請求發送到下載器,通過下載中間件下載網絡數據。5、-旦下載器完成頁面下載,將下載結果返回給爬蟲引擎。6

>>阅读原文<<