Scrapy架構圖

      組件 engine爬蟲引擎：負責控制各個組件之間的數據流，當某些操作事件被觸發後，都是通過engine來處理 downloader下載器:通過爬蟲引擎請求下載網絡數據，並將結果響應給引擎 itempipe管道:負責處理引擎返回的spider解析後的數據，並將數據持久化，例如將數據存儲爲數據庫或文件 spider爬蟲：發出請求給引擎，並且處理引擎返回給它的下載器下載完的數據，以items

>>阅读原文<<