Scrapy學習 二 框架簡介

框架流程 1.引擎向蜘蛛索取網址 2.引擎將要爬取的URL交給調度器 3.調度器將URL生成請求對象放入到指定的隊列 4.從隊列中出列一個請求 5.引擎將請求交給下載器 6.下載器發出請求獲取互聯網數據 7.下載器將數據交給引擎 8.引擎將數據交給蜘蛛 9. Spider通過Xpath解析，將解析結果交給引擎判斷 10.如果得到的URL則繼續交給調度器，如果得到數據則交給管道處理   組件說明：

>>阅读原文<<