爬蟲Scrapy框架詳解

爬蟲Scrapy框架詳解 1. 概述 下圖顯示了 Scrapy 的大體架構，其中包含了它的主要組件及系統的數據處理流程（綠色箭頭所示）。下面就來一個個解釋每個組件的作用及數據的處理過程。 2. 組件 2.1 Scrapy Engine （Scrapy 引擎） Scrapy 引擎是用來控制整個系統的數據處理流程，並進行事務處理的觸發。更多的詳細內容可以看下面的數據處理流程。 2.2 Schedule

>>阅读原文<<