Scrapy框架的核心架構和執行流程

一：Scrapy框架的核心架構   首先，要搞清楚Scrapy的架構就必須明白Scrapy中的組件以及各個組件的做用。接下來，咱們看一看Scrapy框架的組件有哪些以及它們的做用。數據庫   （1）Scrapy引擎：引擎是Scrapy架構的核心，負責數據和信號在組件間的傳遞。架構   （2）調度器：存儲帶爬取的網址，並肯定網址的優先級，決定下一次爬取的網址。框架   （3）下載中間件：對引擎和下載

>>阅读原文<<