爬蟲框架之Scrapy運行流程

一.Scrapy流程圖以下： web 二.Scrapy運行流程大概以下：框架 首先，引擎從調度器中取出一個連接(URL)用於接下來的抓取 引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，並封裝成應答包(Response) 而後，爬蟲解析Response 如果解析出實體（Item）,則交給實體管道進行進一步的處理。 如果解析出的是連接（URL）,則把URL交給Sched

>>阅读原文<<