Python爬蟲框架Scrapy工做流程

Scrapy工做流程圖 具體流程步驟: 爬蟲(spiders)將須要發送請求的url(request)交給引擎(engin); 引擎(engine)將request對象交給調度器(scheduler); 調度器(scheduler)通過(排隊、入隊等)處理後,從新把request對象交給引擎(engine); 引擎將request對象交給下載器(downloader),中間可能會通過中間件(dow

>>阅读原文<<