python之爬蟲的入門06------scrapy框架

1、安裝scrapy框架： pip install scrapy 2、scrapy原理圖： 3、介紹： Scrapy Engine引擎 引擎負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 調度器(Scheduler) 調度器從引擎接受request並將他們入隊，以便之後引擎請求他們時提供給引擎。 下載器(Downloader) 下載器負責獲取頁面數據並提供給引擎，而後提供給sp

>>阅读原文<<