爬蟲scrapy的結構理解

爬蟲scrapy框架-結構自我理解 爬蟲由 spider， Item， Pipeline， Middleware, setting構成 在spider中（spider是一個項目蜘蛛）含有這個項目的名字，項目的域名，項目開始的網址 含有三個變量： **name：**項目的名字， **allowed_domains：**後續的爬取的網址都必須在這個域名之下， **start_urls：**項目開始的網

>>阅读原文<<