Scrapy五大組件介紹

Scrapy框架主要由五大組件組成，它們分別是調度器(Scheduler)、下載器(Downloader)、爬蟲（Spider）和實體管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我們分別介紹各個組件的作用。 調度器 調度器，說白了可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列，由它來決定下一個要抓取的網址是什麼，同時去除重複的網址（不做無用

>>阅读原文<<