Scrapy框架入門、創建scrapy文件

簡單理解一下scrapy框架,架構圖如下: scrapy engine 核心引擎 Scheduler 調度器:獲取requests生成隊列,傳遞requests至downloader downloader 下載器:處理requests,獲取頁面數據。引擎和下載器直接有一箇中間件。 spiders 解析器:解析responses,返回items,生成新的requests傳遞至scheduler。引擎
相關文章
相關標籤/搜索