爬蟲框架之Scrapy運行流程

一.Scrapy流程圖如下： 二.Scrapy運行流程大概如下： 首先，引擎從調度器中取出一個鏈接(URL)用於接下來的抓取 引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，並封裝成應答包(Response) 然後，爬蟲解析Response 若是解析出實體（Item）,則交給實體管道進行進一步的處理。 若是解析出的是鏈接（URL）,則把URL交給Scheduler等待

>>阅读原文<<