scrapy框架的整體架構和組成

框架的基本解讀 圖中綠色的是數據的流向 我們看到圖裏有這麼幾個東西，分別是 Spiders：爬蟲，定義了爬取的邏輯和網頁內容的解析規則，主要負責解析響應並生成結果和新的請求 Engine：引擎，處理整個系統的數據流處理，出發事物，框架的核心。 Scheduler：調度器，接受引擎發過來的請求，並將其加入隊列中，在引擎再次請求時將請求提供給引擎 Downloader：下載器，下載網頁內容，並將下載內

>>阅读原文<<