Scrapy框架結構及工作原理

話不多說，先上圖1   首先，簡單瞭解一下Scrapy框架中的各個組件 對於用戶來說，Spider是最核心的組件，Scrapy爬蟲開發是圍繞實現Spider展開的。 接下來，看一下在框架中的數據流，有下表所示的3種對象。 Request和Response是HTTP協議中的術語，即HTTP請求和HTTP響應，Scrapy框架中定義了相應的Request和Response類，這裏的Item代表Spid

>>阅读原文<<