Scrapy框架的組件和執行流程

1、Scrapy框架的核心架構 首先，要搞清楚Scrapy的架構就必須明白Scrapy中的組件以及各個組件的作用。 接下來，我們看一看Scrapy框架的組件有哪些以及它們的作用。 Scrapy引擎：引擎是Scrapy架構的核心，負責數據和信號在組件間的傳遞。 調度器：存儲帶爬取的網址，並確定網址的優先級，決定下一次爬取的網址。 下載中間件：對引擎和下載器之間的通信進行處理（如設置代理、請求頭等）。

>>阅读原文<<