python爬蟲框架-scrapy簡介

本博客內容來自於拓海的博客 1、框架簡介 組件 Engine: 引擎負責控制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。 Scheduler: 調度器從引擎接受Request並將他們入隊，以便之後引擎請求他們時提供給引擎。 Downloader: 下載器負責獲取頁面數據並提供給引擎，而後提供給Spider。 Spiders: Spider是Scrapy用戶編寫的用於分析Respons

>>阅读原文<<